Les posteurs les plus actifs de la semaine
Lalie17
Exclure la constante d'un modèle change le rang des Var Ind? Vote_lcapExclure la constante d'un modèle change le rang des Var Ind? Voting_barExclure la constante d'un modèle change le rang des Var Ind? Vote_rcap 
c@ssoulet
Exclure la constante d'un modèle change le rang des Var Ind? Vote_lcapExclure la constante d'un modèle change le rang des Var Ind? Voting_barExclure la constante d'un modèle change le rang des Var Ind? Vote_rcap 


Exclure la constante d'un modèle change le rang des Var Ind?

Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Exclure la constante d'un modèle change le rang des Var Ind?

Message par zezima le Mar 19 Mar 2019 - 16:14

Bonjour,

Je me suis rendu compte dans un modèle logistique, qu'en excluant une constante non-significative, le rang de significativité d'une de mes variables explicatives changeait beaucoup.
J'ai 10 variables explicatives et elle passe du rang 10 (pas très significative p=0.04) au rang 4 (très significative p<0.00001).
Les autres variables sont toutes à peu près au même rang et avec des valeurs d'estimates très proches de celles du modèle avec la constante non-significative.

J'ai regardé la distribution des données de cette variable et il semble qu'elle n'a aucune valeur extrême, elle a une variabilité très faible et beaucoup de valeurs très proches les unes des autres.
Cependant, cette variable qui passe du 10ème au 4ème rang a un coefficient de variation bien plus faible que les autres variables (CV=0.01 contre CV=[0.10-0.9] pour les autres variables indépendantes), le fait que cette variable soit très stable au niveau de ses valeurs pourrait lui donner plus de poids lorsqu'on supprime la constante ?

Auriez-vous une idée sur le pourquoi cette variable peut radicalement changer la valeur de son estimate (divisé par 2) et de sa significative lorsqu'on enlève une constante non-significative ?

Merci
zezima
zezima

Nombre de messages : 869
Date d'inscription : 26/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par droopy le Mer 20 Mar 2019 - 8:05

Bonjour,

ça peut arriver s'il y a de la colinéarité entre les variables.
Après comment as-tu tester l'effet de la variable ? Test du ratio de vraissemblance ou test-t ?
Parfois l'ordre avec lequel tu rentre les variables explicatives influe sur les tests de vraisemblance.

cdlt
droopy
droopy

Nombre de messages : 1120
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par zezima le Mer 20 Mar 2019 - 10:24

Bonjour droopy, merci pour ta réponse.

droopy a écrit:ça peut arriver s'il y a de la colinéarité entre les variables.
Pour le coup, ma variable n'a pas de colinéarité avec les autres variables indépendantes (maximum cor=0.2).

droopy a écrit:Après comment as-tu tester l'effet de la variable ? Test du ratio de vraissemblance ou test-t ?
Je n'ai pas fait de test du ratio, ce sont toutes des variables continues que j'ai obtenu dans un modèle backward d'une régression logistique.
Au final la constante est sortie non-significative et 10 variables sont restées dans le modèle.

droopy a écrit:Parfois l'ordre avec lequel tu rentre les variables explicatives influe sur les tests de vraisemblance.
J'ai dans les deux cas de figure pris le même modèle, avec et sans la constante (il n'y avait aucun changement sur l'ordre de mes variables explicatives).

Cordialement
zezima
zezima

Nombre de messages : 869
Date d'inscription : 26/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par Florent Aubry le Mer 20 Mar 2019 - 19:06

Si tes variables explicatives sont des facteurs, ton problème peut provenir du fait que quand tu supprimes la constante (intercept), c'est-à-dire que tu la forces à zéro, c'est comme si tu n'utilisais plus de contrastes pour l'un des facteurs et donc, tu as N degrés de liberté pour ce facteur à N niveaux et non N-1. Puisque tu connais R, je te propose ce petit script qui sera plus explicite, même s'il ne s'agit que d'un modèle linéaire mais c'est aussi valable pour le modèle logistique :
Code:
don <- data.frame( F1=rep( letters[1:3], each=12), F2=rep( letters[4:6]))
for( id in 1:nrow( don)) { don$Y[id] <- with( don, switch( F1[id], a=0.1, b=0.2, c=0.15)) + with( don, switch( F2[id], d=1, e=0, f=-1)) }
don$Y <- don$Y + rnorm( nrow( don), sd=0.1)
lm.0 <- lm( Y ~ 0 + F1 + F2, don)
lm.1 <- lm( Y ~ F1 + F2, don)
car::Anova( lm.0)
car::Anova( lm.1)
summary( lm.0)
summary( lm.1)


Florent Aubry

Nombre de messages : 217
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par niaboc le Mer 20 Mar 2019 - 21:16

zizima a écrit:le fait que cette variable soit très stable au niveau de ses valeurs pourrait lui donner plus de poids lorsqu'on supprime la constante ?

Je pense que le code de Florent Aubry ci-dessus est l'explication plus formelle de ce que tu voulais dire par là :-).

Niaboc
niaboc
niaboc

Nombre de messages : 959
Age : 32
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par Florent Aubry le Jeu 21 Mar 2019 - 7:18

Juste pour compléter ce que j'ai écrit, car je m'aperçois que mon explication n'est pas très claire. Supposons un facteur à deux niveaux et le contraste (1, -1). Quand le modèle estime une ordonnée à l'origine, celle-ci est alors la grande moyenne et le contraste estimé est la différence à cette grande moyenne de telle manière que le coefficient du premier niveau c1 vaut la grande moyenne + le contraste et celui du second niveau vaut la grande moyenne - le contraste. La significativité du facteur repose sur celle du contraste. Quand on impose une ordonnée nulle, les valeurs estimées sont directement c1 et c2. La significativité du facteur repose alors sur le fait que c1 ou c2 (ou les deux) sont significatifs. On est alors dans un schéma de comparaisons multiples puisqu'il y a plus de tests que de degré de liberté, ce qui conduit alors au phénomène connu d'inflation d'erreurs de type I. De plus, il est certain qu'au moins une des valeurs sera en valeur absolue, plus grande que le contraste, donc elle peut être significative même si le contraste et, peut-être, l'ordonnée à l'origine ne le sont pas.

Petite note sur mon code : J'ai écrit "rep( letters[4:6])" ce qui est équivalent à "letters[4:6]" ou à "rep( letters[4:6], 12)". C'est juste un point de syntaxe car cela fait exactement ce que je voulais.

Florent Aubry

Nombre de messages : 217
Date d'inscription : 02/11/2015

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par zezima le Jeu 21 Mar 2019 - 16:36

Bonjour Florent, merci beaucoup pour ta réponse,

D'accord donc globalement la source de ce changement de rang de significativité de mes variables indépendantes viendrait du changement de degré de liberté si je comprends bien ?
De plus le phénomène n'apparaîtrait que dans des modèles comportant trop de variables indépendantes ? (c'est le cas pour mon modèle)

Florent a écrit:De plus, il est certain qu'au moins une des valeurs sera en valeur absolue, plus grande que le contraste
Dans cet extrait, de quelle valeur est-ce-que tu parles ?

Mon modèle logistique ne comporte que des variables numériques continues donc est-ce que tu penses que l'exemple que tu as écrit s'applique également à ce cas de figure ?
J'ai fait des simulations en créant des variables numériques continues avec un faible, moyen et fort Coefficient de Variation et j'ai remarqué que celles ayant un CV très faible gagnaient en inférence (pvalue beaucoup plus faible) lorsque je supprimais la constant non-significative.

Merci

ps niaboc : si tu crois que j'ai pas vu ce que tu as écris Laughing (je crois que tu as fait une faute sur mon pseudo)
zezima
zezima

Nombre de messages : 869
Date d'inscription : 26/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Exclure la constante d'un modèle change le rang des Var Ind? Empty Re: Exclure la constante d'un modèle change le rang des Var Ind?

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum