Exclure la constante d'un modèle change le rang des Var Ind?

Bonjour,

Je me suis rendu compte dans un modèle logistique, qu'en excluant une constante non-significative, le rang de significativité d'une de mes variables explicatives changeait beaucoup.
J'ai 10 variables explicatives et elle passe du rang 10 (pas très significative p=0.04) au rang 4 (très significative p<0.00001).
Les autres variables sont toutes à peu près au même rang et avec des valeurs d'estimates très proches de celles du modèle avec la constante non-significative.

J'ai regardé la distribution des données de cette variable et il semble qu'elle n'a aucune valeur extrême, elle a une variabilité très faible et beaucoup de valeurs très proches les unes des autres.
Cependant, cette variable qui passe du 10ème au 4ème rang a un coefficient de variation bien plus faible que les autres variables (CV=0.01 contre CV=[0.10-0.9] pour les autres variables indépendantes), le fait que cette variable soit très stable au niveau de ses valeurs pourrait lui donner plus de poids lorsqu'on supprime la constante ?

Auriez-vous une idée sur le pourquoi cette variable peut radicalement changer la valeur de son estimate (divisé par 2) et de sa significative lorsqu'on enlève une constante non-significative ?

Merci

Bonjour,

ça peut arriver s'il y a de la colinéarité entre les variables.
Après comment as-tu tester l'effet de la variable ? Test du ratio de vraissemblance ou test-t ?
Parfois l'ordre avec lequel tu rentre les variables explicatives influe sur les tests de vraisemblance.

cdlt

Bonjour droopy, merci pour ta réponse.

droopy a écrit:ça peut arriver s'il y a de la colinéarité entre les variables.

Pour le coup, ma variable n'a pas de colinéarité avec les autres variables indépendantes (maximum cor=0.2).

droopy a écrit:Après comment as-tu tester l'effet de la variable ? Test du ratio de vraissemblance ou test-t ?

Je n'ai pas fait de test du ratio, ce sont toutes des variables continues que j'ai obtenu dans un modèle backward d'une régression logistique.
Au final la constante est sortie non-significative et 10 variables sont restées dans le modèle.

droopy a écrit:Parfois l'ordre avec lequel tu rentre les variables explicatives influe sur les tests de vraisemblance.

J'ai dans les deux cas de figure pris le même modèle, avec et sans la constante (il n'y avait aucun changement sur l'ordre de mes variables explicatives).

Cordialement

Si tes variables explicatives sont des facteurs, ton problème peut provenir du fait que quand tu supprimes la constante (intercept), c'est-à-dire que tu la forces à zéro, c'est comme si tu n'utilisais plus de contrastes pour l'un des facteurs et donc, tu as N degrés de liberté pour ce facteur à N niveaux et non N-1. Puisque tu connais R, je te propose ce petit script qui sera plus explicite, même s'il ne s'agit que d'un modèle linéaire mais c'est aussi valable pour le modèle logistique :

Code:

don <- data.frame( F1=rep( letters[1:3], each=12), F2=rep( letters[4:6]))
for( id in 1:nrow( don)) { don$Y[id] <- with( don, switch( F1[id], a=0.1, b=0.2, c=0.15)) + with( don, switch( F2[id], d=1, e=0, f=-1)) }
don$Y <- don$Y + rnorm( nrow( don), sd=0.1)
lm.0 <- lm( Y ~ 0 + F1 + F2, don)
lm.1 <- lm( Y ~ F1 + F2, don)
car::Anova( lm.0)
car::Anova( lm.1)
summary( lm.0)
summary( lm.1)



zizima a écrit:le fait que cette variable soit très stable au niveau de ses valeurs pourrait lui donner plus de poids lorsqu'on supprime la constante ?

Je pense que le code de Florent Aubry ci-dessus est l'explication plus formelle de ce que tu voulais dire par là :-).

Niaboc

Juste pour compléter ce que j'ai écrit, car je m'aperçois que mon explication n'est pas très claire. Supposons un facteur à deux niveaux et le contraste (1, -1). Quand le modèle estime une ordonnée à l'origine, celle-ci est alors la grande moyenne et le contraste estimé est la différence à cette grande moyenne de telle manière que le coefficient du premier niveau c1 vaut la grande moyenne + le contraste et celui du second niveau vaut la grande moyenne - le contraste. La significativité du facteur repose sur celle du contraste. Quand on impose une ordonnée nulle, les valeurs estimées sont directement c1 et c2. La significativité du facteur repose alors sur le fait que c1 ou c2 (ou les deux) sont significatifs. On est alors dans un schéma de comparaisons multiples puisqu'il y a plus de tests que de degré de liberté, ce qui conduit alors au phénomène connu d'inflation d'erreurs de type I. De plus, il est certain qu'au moins une des valeurs sera en valeur absolue, plus grande que le contraste, donc elle peut être significative même si le contraste et, peut-être, l'ordonnée à l'origine ne le sont pas.

Petite note sur mon code : J'ai écrit "rep( letters[4:6])" ce qui est équivalent à "letters[4:6]" ou à "rep( letters[4:6], 12)". C'est juste un point de syntaxe car cela fait exactement ce que je voulais.

Bonjour Florent, merci beaucoup pour ta réponse,

D'accord donc globalement la source de ce changement de rang de significativité de mes variables indépendantes viendrait du changement de degré de liberté si je comprends bien ?
De plus le phénomène n'apparaîtrait que dans des modèles comportant trop de variables indépendantes ? (c'est le cas pour mon modèle)

Florent a écrit:De plus, il est certain qu'au moins une des valeurs sera en valeur absolue, plus grande que le contraste

Dans cet extrait, de quelle valeur est-ce-que tu parles ?

Mon modèle logistique ne comporte que des variables numériques continues donc est-ce que tu penses que l'exemple que tu as écrit s'applique également à ce cas de figure ?
J'ai fait des simulations en créant des variables numériques continues avec un faible, moyen et fort Coefficient de Variation et j'ai remarqué que celles ayant un CV très faible gagnaient en inférence (pvalue beaucoup plus faible) lorsque je supprimais la constant non-significative.

Merci

ps niaboc : si tu crois que j'ai pas vu ce que tu as écris (je crois que tu as fait une faute sur mon pseudo)