évaluation de la performance d'un modèle de prédiction

Voir le sujet précédent Voir le sujet suivant Aller en bas

évaluation de la performance d'un modèle de prédiction

Message par gatos le Jeu 22 Oct 2015 - 11:34

Bonjour,

J'ai deux modèle de prédiction et je cherche à choisir l'un de deux.

Comment peut on évaluer la performance d'un modèle ? : je réfléchis à calculer l'erreur de prédiction d'abord et comparer les résultats... Mais est ce qu'il existe d'autre méthode d’évaluation ?


Merci d'avance pour vos aides

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par gatos le Jeu 22 Oct 2015 - 13:05

Pas de réponse Sad

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par FS le Jeu 22 Oct 2015 - 13:45

Modèle de Régression ou Classification ?

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par gatos le Jeu 22 Oct 2015 - 13:46

le premier est le modèle GAM et le deuxième est le réseaux de neurones

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par FS le Jeu 22 Oct 2015 - 14:04

Mais quelle type de prédiction tu effectue ?
du continue : Régression
du discret : Classification

FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par gatos le Jeu 22 Oct 2015 - 14:14

C'est une régression

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par FS le Jeu 22 Oct 2015 - 14:29

Souvent on utilise plusieurs critères, les plus populaire sont le R² (coefficient de détermination) le BIC (Bayesian information criterion) et le RMSE (root-mean-square error)

Il faut toujours jeter un oeil aux résidus, dans l'idéal ils suivent une loi normale standard, et il n'y a pas d'autocorrélation (si données temporelles)
Dans la pratique ça permet surtout de repérer des cluster d'individus "atypique" qui sont pas pris en compte par le modèle.

Ne pas chercher absolument le modèle le plus performant,
choisir un modèle interprétable pour un travail d'analyse et d'explication.
choisir un modèle léger en ressource pour un déploiement en production.
choisir le plus performant pour faire rêver son boss/client
...


FS

Nombre de messages : 163
Date d'inscription : 25/04/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par gatos le Jeu 22 Oct 2015 - 14:32

merci beaucoup pour votre réponse ça va m'aider Smile

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par Yves Rousselle le Ven 23 Oct 2015 - 12:23

Sinon une autre solution pour savoir si le modèle fait des bonnes prédictions, c'est d'en faire !

Pour cela, il faut disposer de deux jeux de données séparés ou séparables sur lesquels on connaît les valeurs des variables des modèles et les valeurs de la variable à prédire.
1. On fait tourner le modèle sur une partie des données.
2. On l'applique sur l'autre
3. On regarde le nuages de points entre valeurs prédites et valeurs observées et on estime un R2 par exemple.

J'allais tenter une explication mais ne réinventons pas l'eau tiède :
https://fr.wikipedia.org/wiki/Validation_crois%C3%A9e

Dans ce genre de démarche, il faut faire attention à la "distance" entre les jeux de données d'ajustement du modèle et de test du modèle. Si les deux jeux sont trop proches (ce qui est souvent le cas pour la validation croisée), cela peut conduire à une bonne validation croisée et à des résultats douteux sur le vrai jeu sur lequel on souhaite faire les prédictions. Je ne sais pas si je suis clair mais c'est un point important à prendre en compte.

Yves Rousselle

Nombre de messages : 5
Date d'inscription : 03/08/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par Eric Wajnberg le Sam 24 Oct 2015 - 6:11

Pour compléter la réponse de Yves, cette méthode est empirique, et ne donne des résultats cohérents que dans le cas de régressions issues du modèle linéaire général (sur données gaussiennes). Si le modèle de prédiction est issue d'un modèle linéaire généralisé, par exemple, cette estimation de R2 est connue comme étant erronée. Par exemple, si la variable prédite est un pourcentage binomial (régression logistique), la méthode proposée ici va attribuer un poids équivalent à tous les points alors que l'ajustement, au contraire, est construit sur une vraisemblance binomiale où le poids de chaque point est proportionel à l'effectif sur lequel le pourcentage a été calculé. Ca peut conduire à de sérieux biais d'estimation.

Il y a beaucoup de discussions sur ce point sur le web. Une recherche rapide sur google vient par exemple de me donner ça.

HTH, Eric.

Eric Wajnberg

Nombre de messages : 307
Date d'inscription : 14/09/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par gatos le Lun 26 Oct 2015 - 10:49

Merci pour vos réponses Smile

j'ai une question pour calculer le taux d'erreur en pourcentage il faut seulement divisé l'erreur moyenne absolue par 100 ?

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: évaluation de la performance d'un modèle de prédiction

Message par Contenu sponsorisé Aujourd'hui à 18:07


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum