Analyse des mesures d'erreurs

Bonjour tout le monde,
Je suis étudiant en HEC et je suis entrain de rédiger mon mémoire que je dois rendre prochainement.
Malheureusment je fais face à qq doutes et j'espère que qqn pourra m'aider. D'avance merci pour votre aide.

Mon mémoire conciste, entre autre, à analyser plusieurs méthodes de prévision sur les marchés financiers.
Les méthodes utilisées ont été : Simple moving average, Weighted moving average, exponnential moving average, méthode Holt's (double exponnential), Holt's Winter (triple exponnential) et le modèle ARIMA.

Dans un premier temps, j'ai effectué ces tests sur un indice boursier avec les données réelles. Puis j'ai appliquer un montecarlo (backtesting) sur tous ces modèles.

Afin d'analsyer ces modèles, j'ai utilisé plusieurs mesures d'erreurs comme le MAE (mean absolute error), MSE (mean squared error), MAPE (mean absolute percentage error), MFE (mean forecasting error = erreur de biais) et r2.

Mes doutes sont les suivants :
- Quel mesure est plus pertinente? le MFE ou r2?

- Les modèles les plus pertinants sont le Holt's et le ARIMA. Le MFE du ARIMA est presque 0 alors que celui du Holt's est de 150. Cependant le r2 du ARIMA est de 0.22 alors que celui du holt's est de 0.33. N'est-ce pas contradictoire?

- Alors que pour les données réelles de l'indice le modèle ARIMA est plus convaincant lors que du backtesting il est nettment moins convaincant! Dois-je me baser sur les données réelles ou mon backetstig qui contient 100 simluations?

Mil merci pour vos commentaires.
Bonne journée

Bonjour,

Toutes les mesures de qualité d'un modèle mesurent généralement des choses différentes donc tu peux en utiliser 15, tu auras alors 15 visions différentes de ton modèle.

L'analyse de la qualité d'un modèle est globale et requiert une expertise par rapport au sujet traité.
Il est très difficile et surtout pas raisonnable de te répondre seulement à partir de qqs chiffres et une qualification de "plus convaincant" sur une méthode de qualité de modèle.