Les posteurs les plus actifs de la semaine
joyeux_lapin13
 
Pchalix
 
victornitho
 
c@ssoulet
 
zezima
 
Eric Wajnberg
 
schlebe
 


AIC contre R² ajusté

Voir le sujet précédent Voir le sujet suivant Aller en bas

AIC contre R² ajusté

Message par niaboc le Mar 23 Juil 2013 - 20:49

Bonsoir,

j'ai beaucoup lu qu'il fallait mieux utilisé l'AIC et BIC pour comparer des modèles plutôt que le coefficient de détermination (R²). Notamment car le R² augmente mécaniquement avec le nombre de variable dans le modèle.

Je voulais savoir si le R² ajusté était donc équivalent à l'AIC???
Les deux critères prennent en compte le nombre de variable dans le modèle ; et le R² ajusté permet lui de quantifier plus facilement la qualité du modèle (R² ajusté de 1= super modèle).

si le R² ajusté augmente, logiquement le modèle est mieux ajusté aux données et la vraisemblance augmente également => l'AIC diminue? non?


En régression logistique le R² n'a plus de sens? pourquoi exactement? est-ce seulement parce que les proba sont sensibles au déséquilibre dans les classes 1/0?


Merci




niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: AIC contre R² ajusté

Message par Nik le Mer 24 Juil 2013 - 14:30

Salut,

pour un lm, le R² ajusté est équivalent à l'AIC en terme de performance tout simplement parce que le critère OLS est une bonne approximation d'une estimation par maximum de vraisemblance. D'un point de vue théorique ça n'a par contre pas grand chose à voir et donc les propriétés (notamment asymptotiques) dans le cadre d'une sélection de modèle ne sont pas les mêmes.

Pour un modèle binomial, il n'y a plus de R² possible car ce n'est pas un modèle linéaire. Par conséquent le R² basé sur le critère OLS n'est potentiellement plus borné entre 0 et 1. C'est assez problématique pour évaluer sa valeur et la comparer entre les modèles, comme tu peux t'en douter...




Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: AIC contre R² ajusté

Message par niaboc le Mer 24 Juil 2013 - 16:13

Nik a écrit:Salut,
D'un point de vue théorique ça n'a par contre pas grand chose à voir et donc les propriétés (notamment asymptotiques) dans le cadre d'une sélection de modèle ne sont pas les mêmes.

J'ai essayé de chercher mais je ne vois pas les différences qu'il peut y avoir asymptotiquement?

Nik a écrit:
Pour un modèle binomial, il n'y a plus de R² possible car ce n'est pas un modèle linéaire. Par conséquent le R² basé sur le critère OLS n'est potentiellement plus borné entre 0 et 1. C'est assez problématique pour évaluer sa valeur et la comparer entre les modèles, comme tu peux t'en douter...

Serait-ce également car n'est plus valide si on est plus dans un modèle linéaire?
mais la régression logistique est un cas particulier modèle linéaire généralisé?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: AIC contre R² ajusté

Message par Nik le Mer 24 Juil 2013 - 19:59

En fait, l'AIC a pour base la théorie de l'information (maximisation de l'entropie) alors que le R² repose principalement sur la partition de variance et donc un modèle géométrique.
Quand on parle de sélection de modèle sur un grand nombre de paramètre et un n élevé, la théorie associée au maximum d'entropie veut que l'AIC fournisse toujours le meilleur modèle (si le modèle dit parfait n'est pas dans l'ensemble des modèles candidats). En pratique, l'unique contrainte est de pouvoir calculer une vraisemblance.
Pour le R², le fait qu'il soit basé sur la partition de variance impose beaucoup plus de contraintes à la possibilité de son calcul. De fait, les propriétés quand n est grand sont proches de celle de l'AIC mais dans un contexte beaucoup plus restreint.

Pour la décomposition de la somme ds carrés, oui ça peut se résumer comme ça.

La régression logistique est bien un glm. Mais justement un glm n'est pas forcément un lm. Dans ce dernier on suppose un erreur gaussienne et un lien identité donc le modèle est linéaire selon les paramètres. Dans une reg logisitique le modèle est linéaire pour les paramètres uniquement au travers de la fonction de lien. Ceci suffit à rendre caduque les propriétés de décomposition de la variance

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: AIC contre R² ajusté

Message par niaboc le Mer 24 Juil 2013 - 22:17

ok

merci pour toutes ces explications

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: AIC contre R² ajusté

Message par Contenu sponsorisé Aujourd'hui à 21:43


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum