Les posteurs les plus actifs de la semaine
joyeux_lapin13
 
zeu
 
gg
 
schlebe
 
zezima
 
Yacouba_KONE
 
rayanes159
 
noviceST
 
Eric Wajnberg
 
Nik
 


ecart-type

Voir le sujet précédent Voir le sujet suivant Aller en bas

ecart-type

Message par gatos le Jeu 12 Nov 2015 - 14:43

Bonjour,

Est ce que le calcul de l’écart-type d'erreur de prédiction est représentatif de l'erreur ? comment on le lit
cordialement,

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Nik le Ven 13 Nov 2015 - 8:55

Bonjour,

Tu fais référence au RMSE et à l'erreur de prédiction ?

Si oui alors oui le RMSE est un estimateur de l'erreur de prédiction (écart entre prédit et observé). Mais comment pourrait il en être autrement vu le calcul du RMSE ? J'ai donc un doute sur le sens de ta question...

Nik


Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par gatos le Ven 13 Nov 2015 - 9:50

C'est plutôt le calcul du coefficient de variation. Est cela peut être un critère pour décider si on a une bonne prediction ou pas ?
Pour comparer deux erreurs de prediction
erreur relative moyenne1= 0.33 avec un coefficient de variation1 = 49%
erreur relative moyenne2= 0.13 avec un coefficient de variation2 = 91%
Laquelle de 2 faut choisir ?

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Florent Aubry le Ven 13 Nov 2015 - 10:35

Pour pouvoir te répondre, il faut d'autres informations de ta part, notamment :

- quelle est la procédure que tu utilises et quel est le modèle que tu cherches à estimer ? De là dépendra en partie la réponse.

- de quelle erreur de prédiction parles-tu ? A-t-elle été obtenu sur les données qui t'ont servi à estimer ton modèle, sur un jeu de données indépendant, par validation croisée... ?

Florent Aubry

Nombre de messages : 121
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par gatos le Ven 13 Nov 2015 - 10:53

C'est pour évaluer un modele GAM
l'erreur de prédiction relative= (val reelle-val estimé )/val reelle
elle est calculée sur un jeu de donnée test et non pas celui d'apprentissage

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Florent Aubry le Ven 13 Nov 2015 - 11:07

On est bien d'accord, ton coefficient de variation correspond bien au rapport entre la moyenne et l'écart-type de ton erreur de prédiction. Je pense qu'il faut se poser la question de la pertinence de ce critère dans le cas des modèles GAM qui sont plus ou moins non paramétriques, et ne relèvent jamais des modèles linéaires généralisés, alors que ce critère repose sur l'hypothèse de données normales. D'ailleurs les chiffres que tu donnes, compte-tenu de tes définitions, semblent plutôt indiquer qu'aucun des deux modèles n'est adapté.

Florent Aubry

Nombre de messages : 121
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par gatos le Ven 13 Nov 2015 - 12:07



Je vous remercie pour votre réponse
Pour la lecture de ces resultats :
erreur relative moyenne2= 0.13 avec un coefficient de variation2 = 91%
On la lit de cette façon : on a une erreur moyenne de 13% avec une dispersion autour de la moyenne égale à 91% ?

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Florent Aubry le Ven 13 Nov 2015 - 12:57

Si c'est vraiment le coefficient de variation, cela se lit comme étant le rapport entre l'écart type et la moyenne, donc 91% signifie que l'écart type est égal à 91% de la moyenne donc, sous réserve de l'hypothèse de normalité (théoriquement la seule pour laquelle ce coefficient à un sens), la probabilité que la moyenne est nulle est grande. Dans le cas du 0.33 avec un CV=49% on dira qu'il y a une tendance à l'égalité.

Sous réserve que le CV a un sens pour les données, j'aurais tendance à privilégier le modèle 2 mais personnellement je me dirigerais plutôt vers des méthodes de rééchantillonnage. Par contre, je ne connais pas du tout la littérature à ce sujet pour les modèles GAM.

Florent Aubry

Nombre de messages : 121
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par gatos le Lun 16 Nov 2015 - 9:25

Merci pour votre réponse
Est ce que vous pouvez m'expliquer un peu plus s'il vous plait sur le rapport entre un modèle non paramétrique et l'utilisation du coefficient de variation ?

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Florent Aubry le Lun 16 Nov 2015 - 11:01

Un modèle paramétrique est un modèle dont la distribution des valeurs est connue. Par exemple, quand on mesure un grand nombre de fois la même variable continue et que l'on suppose les mesures indépendantes les unes des autres, on peut montrer que la moyenne des mesures tend vers une loi normale (loi des grands nombres), si on mesure le nombre d'événements indépendants dans un temps donné, c'est une loi de Poisson et le temps d'attente entre deux événements suivra une loi exponentielle. Les calculs tiendront alors compte de la connaissance qu'on a de la loi sous-jacente aux données comme le font les modèles linéaires généralisés. Cependant, il est évident que si la distribution n'est pas symétrique, les moments centrés d'ordre 2, donc la variance, ne sont pas de bons indicateurs de la dispersion de la variables qu'on peut considérer comme liée à la largeur à mi-hauteur de la distribution. En effet, dans ce cas, la variance dépend de la moyenne. Le CV n'est donc pas un bon paramètre de test.

Si on n' aucune idée sur la distribution des valeurs comme dans le cas des statistiques de rang notamment, on utilise les statistiques non paramétriques qui, généralement, ne testent plus la moyenne des valeurs mais leur médiane. En effet, le calcul de la moyenne impose de connaître la distribution des valeurs. Le plus simple pour illustrer le problème est le test des signes. Dans ce cas, le calcul de la variance est impossible et le CV empirique n'a pas de sens.

Les modèles GAM rentrent souvent dans la catégories des modèles non paramétriques puisqu'ils incluent des transformations des variables (cf. la page de Wikipedia en anglais)

Florent Aubry

Nombre de messages : 121
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par gatos le Lun 16 Nov 2015 - 13:10

Merci pour votre explication Smile

Dans ce cas la c'est quoi le critère que je peux utiliser pour comparer l'erreur de prédiction du modèle selon les classes ?

gatos

Nombre de messages : 43
Date d'inscription : 04/07/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Florent Aubry le Mar 17 Nov 2015 - 9:03

Comme je le disais plus haut, je connais le principe des modèles GAM mais n'ayant jamais eu l'occasion de les utiliser, je n'ai pas approfondi la question.

Personnellement, je commencerai par des tracés simples du type biais (valeur prédite - valeur réelle) en fonction de la valeur réelle pour me faire une idée.  Je regarderai aussi du côté de critères comme la log-vraisemblance ou l'AIC. D'autre part, je ferai une recherche avec les mots clef : GAM models, variable selection, selection of smoothness. Voir par exemple cet article qui arrive dans les premiers avec ces mots clefs (en utilisant le moterur startpage) https://www.fdm.uni-freiburg.de/publications-preprints/preprints/papers/pre93.pdf

Florent Aubry

Nombre de messages : 121
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ecart-type

Message par Contenu sponsorisé Aujourd'hui à 11:32


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum