Régression linéaire

Bonjour,

Je suis en train de réaliser des traitements statistiques pour mon Mémoire et j'ai une question.

J'ai fait une régression linéaire multiple (avec deux variables indépendantes "a" et "b" et une variable indépendante "c"). Le modèle est significatif mais une des deux variables indépendantes ne l'est pas (la "b").

(Alors que la régression linéaire simple entre "b" et "c" fonctionne).


J'ai également fait des corrélations entre toutes mes variables et elles sont fortes (.5 en moyenne).
Mais quand je fais une corrélation partielle, de la variable "b" et "c" en contrôlant la variable "a" : la corrélation chute.

J'aimerai savoir si je peux faire un lien (dans mes interprétations) entre les résultats à la régression et à la corrélation partielle ?


Merci beaucoup

bonjour,

tu tombes pile-poil dans les problèmes de colinéarité en régression linéaire. En effet quand tu incorpores des variables explicatives corrélés dans ton modèle alors suivant l'ordre dans lequel tu rentres tes variables il se peut que l'une des deux variables n'est plus d'effet, alors que seule elles ont un effet.

Ce qu'il faut voir c'est que quand tu intègres des variables corrélées dans un modèle alors tu peux avoir des problèmes pour estimer correctement les coefficients associés à ces variables. L'ecart type de ces coeffs va être beaucoup plus grand.

Après tout dépend de ce que tu cherches à dire ... et de ce que tu cherches à faire.

micros

Merci beaucoup pour cette réponse.

Si je suis en présence de colinéarité, est-ce que je peux quand même faire une régression?
Y a t'il un moyen de mesurer la colinéarité?

Est-ce que je peux quand même interpréter ensemble les résultats de la régression multiple et de la corrélation partielle (par exemple en disant que la variable "b" n'est liée à la "c" que "grâce" à la "a" ou que la "a" annule les effets de la "b" sur la "c")?

Merci d'avance, je suis un peu perdue dans tous ces statistiques!

-Marion- a écrit:Merci beaucoup pour cette réponse.
Si je suis en présence de colinéarité, est-ce que je peux quand même faire une régression?
Y a t'il un moyen de mesurer la colinéarité?

Tu peux toujours tout faire, mais tout n'a pas de sens. Pour ce qui est de mesurer la colinéarité tu as le "vif" pour variance inflation factor. vif = 1/(1-R²). Le R² est celui entre une variable explicative de ton modèle et les autres. Il mesure la part de variation de la variable explicative lambda expliquée par les autres variables explicatives.

Code:

### avec R
library(car)
library(MASS)

tab <- mvrnorm(100,rep(1,3),matrix(c(1,0.8,0.7,0.8,1,0.9,0.7,0.9,1),3))
colnames(tab) <- c("y","x1","x2")
tab <- as.data.frame(tab)

cor(tab)
          y        x1        x2
y  1.0000000 0.8263793 0.6788812
x1 0.8263793 1.0000000 0.9013843
x2 0.6788812 0.9013843 1.0000000

lm1 <- lm(y~x1+x2,data=tab)
vif(lm1)
5.333154 5.333154

# tu peux l'avoir aussi directement à partir de la matrice de corrélation
vifs <- diag(solve(cor(tab[-1,-1])))

# indice de multicolinéarité :
mean(vifs)


Tout le monde n'a pas les mêmes critères, pour certains c'est vif>5 d'autre vif>10 d'autres encore plus sévère prennent 3.

-Marion- a écrit:
Est-ce que je peux quand même interpréter ensemble les résultats de
la régression multiple et de la corrélation partielle (par exemple en
disant que la variable "b" n'est liée à la "c" que "grâce" à la "a" ou que la "a" annule les effets de la "b" sur la "c")?

Ni l'un ni l'autre je dirais.

Tu ne peux dire qu'une variable n'est liée à une autre que par une troisième variable que si tu as des infos dans la liitérature qui te le dise. Par exemple, tu as la taille des femurs, des radius et la taille totale. Il se peut que la corrélation partielle entre femurs et radius soit très faible, alors que la corrélation brute est forte. Cela est du au fait que la taille explique une grande portion de la variation de ces deux mesures. Mais ici tu ne cherches pas à expliquer la variation de la taille des fémurs par la taille des radius, tu cherches juste le lien entre elles, tu ne fais pas de régression multiple.

le r partiel mesure la liaison mutuelle entre deux variables y et xj lorsque d'autres
variables (x1, x2, x3...) sont tenues constantes par rapport aux deux variables impliquées y et
xj.
Le coefficient de corrélation partielle est très utile en régression multiple, où il "...permet d'évaluer
directement la proportion de la variation non expliquée de y qui devient expliquée grâce à l'ajout de la
variable xj."

Je pense que tu pourras dire que l'une des deux variables jouent plus que l'autre dans ton modèle, celle pour laquelle la corrélation partielle sera la plus forte, mais après ... tu ne pas pas dire que a annule les effets de b, puisqu'une partie des effets de b est compris dans a et une partie des effets de a est comprise dans b.

télécharge ces docs : tu comprendras mieux les joie de la régression multiple. :
http://rapidshare.com/files/242270064/Regr_mult.pdf.html
http://rapidshare.com/files/242270065/r2partiel.pdf.html

micros

Encore une fois, merci!

Je viens de calculer le VIF à l'instant, il est de 1,476. Donc ce n'est pas colinéaire?

Je vais travailler sur toutes ces informations, merci.

un vif de 1.476, ce n'est effectivement pas monstrueux. C'est collinéaire dès que le vif est >0. Le seul cas ou ca ne l'est pas c'est quand les variables explicatives sont orthogonales (axes d'ACP par exemple). Dans ton cas tu as de la colinéarité mais ça ne devrait pas être génant.

Si la corrélation partielle est moins forte entre "b" et "c", c'est que "a" à une influence sur "c", et que du coup quand tu enlèves la part liée à "a" alors la relation entre b et c est moins forte. Ce qui ne veut pas dire que "b" n'a pas d'importance pour "c".

micros

Ok! Merci, je comprends mieux.

J'ai lu en diagonale, mais je dirais que ca fait un peu interaction, non? Tu as essayé d'introduire a*b dans ton modèle?

Bonjour,
Comment introduire a*b dans le modèle?

c@ssoulet a écrit:J'ai lu en diagonale, mais je dirais que ca fait un peu interaction, non? Tu as essayé d'introduire a*b dans ton modèle?

Pas forcément ... c'est juste que quand tu fais le modèle simple x2 semble avoir un effet positif, mais celui-ci ets lié au fait que x2 est corrélé avec x1. Alors que quand tu les intègre tout les deux dans le modèle pour un x1 fixe alors y est inversement relié avec x2. Les paramètres dans une regression multiple s'interprète comme l'effet de la variable explicative concernée sur
la variable dépendante lorsque la ou les autres variables explicatives sont tenues constantes. Voir l'exemple dans les liens que j'ai fourni.

sinon pour intégrer une interaction dans un modèle sous R plusieurs possibilités :

Code:

lm(y~x1*x2,...)
lm(y~x1+x2+x1:x2,...)
lm(y~(x1+x2)^2) # Attention, ne veut pas dire y ~ x1² + 2x1x2 + x²

Les deux premières correspondent aussi à des notations que tu peux trouver dans la littérature. La dernière est plutôt lié aux langages et peut être très utile.

micros

Merci pour les propositions et informations.

Savez-vous comment tester l'effet d'interaction avec le logiciel SPSS ?

Merci

non, désolé je ne connais pas ce logiciel ...

micros