évaluation de la performance d'un modèle de prédiction

Bonjour,

J'ai deux modèle de prédiction et je cherche à choisir l'un de deux.

Comment peut on évaluer la performance d'un modèle ? : je réfléchis à calculer l'erreur de prédiction d'abord et comparer les résultats... Mais est ce qu'il existe d'autre méthode d’évaluation ?


Merci d'avance pour vos aides

Pas de réponse

Modèle de Régression ou Classification ?

le premier est le modèle GAM et le deuxième est le réseaux de neurones

Mais quelle type de prédiction tu effectue ?
du continue : Régression
du discret : Classification

C'est une régression

Souvent on utilise plusieurs critères, les plus populaire sont le R² (coefficient de détermination) le BIC (Bayesian information criterion) et le RMSE (root-mean-square error)

Il faut toujours jeter un oeil aux résidus, dans l'idéal ils suivent une loi normale standard, et il n'y a pas d'autocorrélation (si données temporelles)
Dans la pratique ça permet surtout de repérer des cluster d'individus "atypique" qui sont pas pris en compte par le modèle.

Ne pas chercher absolument le modèle le plus performant,
choisir un modèle interprétable pour un travail d'analyse et d'explication.
choisir un modèle léger en ressource pour un déploiement en production.
choisir le plus performant pour faire rêver son boss/client
...

merci beaucoup pour votre réponse ça va m'aider

Sinon une autre solution pour savoir si le modèle fait des bonnes prédictions, c'est d'en faire !

Pour cela, il faut disposer de deux jeux de données séparés ou séparables sur lesquels on connaît les valeurs des variables des modèles et les valeurs de la variable à prédire.
1. On fait tourner le modèle sur une partie des données.
2. On l'applique sur l'autre
3. On regarde le nuages de points entre valeurs prédites et valeurs observées et on estime un R² par exemple.

J'allais tenter une explication mais ne réinventons pas l'eau tiède :
https://fr.wikipedia.org/wiki/Validation_crois%C3%A9e

Dans ce genre de démarche, il faut faire attention à la "distance" entre les jeux de données d'ajustement du modèle et de test du modèle. Si les deux jeux sont trop proches (ce qui est souvent le cas pour la validation croisée), cela peut conduire à une bonne validation croisée et à des résultats douteux sur le vrai jeu sur lequel on souhaite faire les prédictions. Je ne sais pas si je suis clair mais c'est un point important à prendre en compte.

Pour compléter la réponse de Yves, cette méthode est empirique, et ne donne des résultats cohérents que dans le cas de régressions issues du modèle linéaire général (sur données gaussiennes). Si le modèle de prédiction est issue d'un modèle linéaire généralisé, par exemple, cette estimation de R2 est connue comme étant erronée. Par exemple, si la variable prédite est un pourcentage binomial (régression logistique), la méthode proposée ici va attribuer un poids équivalent à tous les points alors que l'ajustement, au contraire, est construit sur une vraisemblance binomiale où le poids de chaque point est proportionel à l'effectif sur lequel le pourcentage a été calculé. Ca peut conduire à de sérieux biais d'estimation.

Il y a beaucoup de discussions sur ce point sur le web. Une recherche rapide sur google vient par exemple de me donner ça.

HTH, Eric.

Merci pour vos réponses

j'ai une question pour calculer le taux d'erreur en pourcentage il faut seulement divisé l'erreur moyenne absolue par 100 ?