ecart-type

Bonjour,

Est ce que le calcul de l’écart-type d'erreur de prédiction est représentatif de l'erreur ? comment on le lit
cordialement,

Bonjour,

Tu fais référence au RMSE et à l'erreur de prédiction ?

Si oui alors oui le RMSE est un estimateur de l'erreur de prédiction (écart entre prédit et observé). Mais comment pourrait il en être autrement vu le calcul du RMSE ? J'ai donc un doute sur le sens de ta question...

Nik

C'est plutôt le calcul du coefficient de variation. Est cela peut être un critère pour décider si on a une bonne prediction ou pas ?
Pour comparer deux erreurs de prediction
erreur relative moyenne1= 0.33 avec un coefficient de variation1 = 49%
erreur relative moyenne2= 0.13 avec un coefficient de variation2 = 91%
Laquelle de 2 faut choisir ?

Pour pouvoir te répondre, il faut d'autres informations de ta part, notamment :

- quelle est la procédure que tu utilises et quel est le modèle que tu cherches à estimer ? De là dépendra en partie la réponse.

- de quelle erreur de prédiction parles-tu ? A-t-elle été obtenu sur les données qui t'ont servi à estimer ton modèle, sur un jeu de données indépendant, par validation croisée... ?

C'est pour évaluer un modele GAM
l'erreur de prédiction relative= (val reelle-val estimé )/val reelle
elle est calculée sur un jeu de donnée test et non pas celui d'apprentissage

On est bien d'accord, ton coefficient de variation correspond bien au rapport entre la moyenne et l'écart-type de ton erreur de prédiction. Je pense qu'il faut se poser la question de la pertinence de ce critère dans le cas des modèles GAM qui sont plus ou moins non paramétriques, et ne relèvent jamais des modèles linéaires généralisés, alors que ce critère repose sur l'hypothèse de données normales. D'ailleurs les chiffres que tu donnes, compte-tenu de tes définitions, semblent plutôt indiquer qu'aucun des deux modèles n'est adapté.

Je vous remercie pour votre réponse
Pour la lecture de ces resultats :
erreur relative moyenne2= 0.13 avec un coefficient de variation2 = 91%
On la lit de cette façon : on a une erreur moyenne de 13% avec une dispersion autour de la moyenne égale à 91% ?

Si c'est vraiment le coefficient de variation, cela se lit comme étant le rapport entre l'écart type et la moyenne, donc 91% signifie que l'écart type est égal à 91% de la moyenne donc, sous réserve de l'hypothèse de normalité (théoriquement la seule pour laquelle ce coefficient à un sens), la probabilité que la moyenne est nulle est grande. Dans le cas du 0.33 avec un CV=49% on dira qu'il y a une tendance à l'égalité.

Sous réserve que le CV a un sens pour les données, j'aurais tendance à privilégier le modèle 2 mais personnellement je me dirigerais plutôt vers des méthodes de rééchantillonnage. Par contre, je ne connais pas du tout la littérature à ce sujet pour les modèles GAM.

Merci pour votre réponse
Est ce que vous pouvez m'expliquer un peu plus s'il vous plait sur le rapport entre un modèle non paramétrique et l'utilisation du coefficient de variation ?

Un modèle paramétrique est un modèle dont la distribution des valeurs est connue. Par exemple, quand on mesure un grand nombre de fois la même variable continue et que l'on suppose les mesures indépendantes les unes des autres, on peut montrer que la moyenne des mesures tend vers une loi normale (loi des grands nombres), si on mesure le nombre d'événements indépendants dans un temps donné, c'est une loi de Poisson et le temps d'attente entre deux événements suivra une loi exponentielle. Les calculs tiendront alors compte de la connaissance qu'on a de la loi sous-jacente aux données comme le font les modèles linéaires généralisés. Cependant, il est évident que si la distribution n'est pas symétrique, les moments centrés d'ordre 2, donc la variance, ne sont pas de bons indicateurs de la dispersion de la variables qu'on peut considérer comme liée à la largeur à mi-hauteur de la distribution. En effet, dans ce cas, la variance dépend de la moyenne. Le CV n'est donc pas un bon paramètre de test.

Si on n' aucune idée sur la distribution des valeurs comme dans le cas des statistiques de rang notamment, on utilise les statistiques non paramétriques qui, généralement, ne testent plus la moyenne des valeurs mais leur médiane. En effet, le calcul de la moyenne impose de connaître la distribution des valeurs. Le plus simple pour illustrer le problème est le test des signes. Dans ce cas, le calcul de la variance est impossible et le CV empirique n'a pas de sens.

Les modèles GAM rentrent souvent dans la catégories des modèles non paramétriques puisqu'ils incluent des transformations des variables (cf. la page de Wikipedia en anglais)

Merci pour votre explication

Dans ce cas la c'est quoi le critère que je peux utiliser pour comparer l'erreur de prédiction du modèle selon les classes ?

Comme je le disais plus haut, je connais le principe des modèles GAM mais n'ayant jamais eu l'occasion de les utiliser, je n'ai pas approfondi la question.

Personnellement, je commencerai par des tracés simples du type biais (valeur prédite - valeur réelle) en fonction de la valeur réelle pour me faire une idée.  Je regarderai aussi du côté de critères comme la log-vraisemblance ou l'AIC. D'autre part, je ferai une recherche avec les mots clef : GAM models, variable selection, selection of smoothness. Voir par exemple cet article qui arrive dans les premiers avec ces mots clefs (en utilisant le moterur startpage) https://www.fdm.uni-freiburg.de/publications-preprints/preprints/papers/pre93.pdf