interprétation régression multiple

Bonjour,

est-il possible d'interpréter la valeur d'un coefficient de régression linéaire multiple?

si les 3 coefficients de mes 3 variables explicatives sont significatifs, est-il légitime d'interpréter leur valeur ou seulement leur signe?

merci

je précise : si les 3 variables portent sur la même chose
(ex : quantité de pommes vertes, rouges et jaunes)

peut-on dire, si le coeff concernant les pommes rouges est plus élevé, que 'pomme rouge' est un facteur plus explicatif que les autres couleurs de pomme?

Salut,

Oui il est même grandement conseillé d'interpréter la valeur du paramètre. Cette valeur exprime le fait que quand tu vas modifier la variable explicative d'une unité, alors la variable expliquée va être modifiée d'un ordre beta.

Nik

Et si les régresseurs sont un peu corrélés... est ce que l'interprétation change?
est ce que la régression prend en compte cette corrélation et que le coefficient ne représente que l'effet principale de la variable?

Par régresseurs, tu entends le Y et les X du modèle ou que les X entre eux ?
Si tu te places dans le premier cas :
Non je ne pense pas. La valeur du paramètre n'est pas ajustée a posteriori à celle du R². C'est à toi de te rendre compte de la validité globale de ton modèle avant de passer à l'interprétation réelle des valeurs des paramètres.

Dans le 2e cas, c'est plutôt souhaitable que les X ne soient pas corrélés entre eux.

Nik

j'entends par là que les X.

Je sais que les régresseurs ne doivent pas être corrélés entre eux... mais dans mon cas ça l'est. Et du coup est-ce que le coefficient ne représente que l'effet principale de la variable?

Dans ce cas c'est plus hasardeux de conclure car en ajoutant des variables qui portent une information partiellement redondante tu prend le risque d'amplifier le signal, de rendre significatif des paramètres qui n'apportent pas grand chose à l'explication du modèle et puis sans doute d'autres effets non prévisibles.
De fait, comme le modèle global est hasarrdeux, l'interprétation des valeurs de paramètre l'est tout autant.
La question qui se pose alors est de savoir si tu as absolument besoin de conserver tous les X ?

Nik

Merci pour tes réponses.

Les X sont à conserver (interprétation du modèle d'un point de vue 'métier'). Mais l'interprétation va être délicate du coup...

@NIk : je sais pas pourquoi ne pas avoir laissé ta dernière réponse, car le pdf dont tu avais mis le lien est bien fait.

?? euh je sais pas si c'est moi qui fatigue (c'est bien possible) mais de quel pdf tu parles ?

J'ai peut-être mal vu mais quelqu'un (et il me semblait que c'était toi) à poster un message avec ce pdf en lien :

http://biol09.biol.umontreal.ca/BIO2042/Regr_mult.pdf

et le message a été supprimé depuis...

Ouf, ça me rassure un peu c'était pas moi .
Effectivement c'est pas mal ce document, ça reprend beaucoup des éléments essentiels. Il faut dire que l'auteur est plutôt costaud.

Nik

Le pdf c'était moi, mais j'ai supprimé le message parce que je ne trouvais qu'il ne répondait pas a la question (le message pas le pdf). Regarde sur ce site il y a pas mal de pdf de très grande qualité.

Pour en revenir à la toute première question bien sur que tu peux interpréter la valeur d'un coeff de régression multiple, il correspond à l'effet de ta variable quand les autres sont fixes.

Après je ne suis pas convaincu par l'utilisation de la régression multiple ici, tout dépend ce que tu cherches réellement à tester. Est-ce que tu pourrais formuler ton hypothèse de départ?

Bonjour,

au départ je souhaite expliquer une variables avec 3 variables explicatives.

Le problème est:
ces 3 variables sont corrélées entre elle. Etant obligé de les utiliser (pour l'interprétation métier du modèle), comment interpréter les coefficients le plus justement possible?

En fait, je trouve que le pdf répond bien à ma question.
J'ai fouillé le site à fond le lendemain de ton post et c'est vrai qu'il y a pas mal de documents intéressants!

Quelle est le type de variable que tu cherches a expliquer et que cherches-tu au juste a tester ?

Nik a écrit:Dans ce cas c'est plus hasardeux de conclure car en ajoutant des variables qui portent une information partiellement redondante tu prend le risque d'amplifier le signal, de rendre significatif des paramètres qui n'apportent pas grand chose à l'explication du modèle et puis sans doute d'autres effets non prévisibles.
De fait, comme le modèle global est hasarrdeux, l'interprétation des valeurs de paramètre l'est tout autant.
La question qui se pose alors est de savoir si tu as absolument besoin de conserver tous les X ?

Nik

Je ne suis pas d'accord avec ce que tu dis. Les variables X (explicatives) peuvent très bien être corrélées entre elles, les conditions de validité de la régression (conditions de Gauss Markov) ne l'empêchent pas. Il ne faut juste pas qu'elles soient colinéaires (c'est à dire parfaitement corrélées, parce que dans ce cas la matrice X est singulière et on ne peut pas résoudre le système), et qu'elles ne soient pas corrélées avec les résidus (sinon on a de l'endogénéité).
Précisément, si deux variables explicatives x1 et x2 sont corrélées entres elles, si on en laisse une des deux de côté on va attribuer à tort à x1 des effets qui viennent de x2 (biais de variable omise). En utilisant les deux variables, les MCO permettent de distinguer l'effet de x1 et de x2 sur y.

Je ne suis pas d'accord avec ce que tu dis. Les variables X (explicatives) peuvent très bien être corrélées entre elles, les conditions de validité de la régression (conditions de Gauss Markov) ne l'empêchent pas. Il ne faut juste pas qu'elles soient colinéaires (c'est à dire parfaitement corrélées, parce que dans ce cas la matrice X est singulière et on ne peut pas résoudre le système), et qu'elles ne soient pas corrélées avec les résidus (sinon on a de l'endogénéité).
Précisément, si deux variables explicatives x1 et x2 sont corrélées entres elles, si on en laisse une des deux de côté on va attribuer à tort à x1 des effets qui viennent de x2 (biais de variable omise).

Il ne s'agit pas de discuter des conditions d'applications de la régression qui de toute façon porte plutôt sur les résidus et pas sur la distribution jointe des variables mais bien de se rendre compte que rentrer des variables corrélées amplifient le signal. C'est toute la thématique de l'analyse de l'effet taille par exemple et le rôle des analyses multivariées.

En utilisant les deux variables, les MCO permettent de distinguer l'effet de x1 et de x2 sur y

non. tu auras l'effet de x1, de x2 et l'effet de l'interaction à prendre en compte. Et si x1 et x2 sont corrélées alors les effets deviennent très vite indicernables. Et les moindres carrés ordinaires sont la méthode de base en régression donc je ne vois pas bien ce que ça vient faire ici.

Nik

Nik a écrit:

Je ne suis pas d'accord avec ce que tu dis. Les variables X (explicatives) peuvent très bien être corrélées entre elles, les conditions de validité de la régression (conditions de Gauss Markov) ne l'empêchent pas. Il ne faut juste pas qu'elles soient colinéaires (c'est à dire parfaitement corrélées, parce que dans ce cas la matrice X est singulière et on ne peut pas résoudre le système), et qu'elles ne soient pas corrélées avec les résidus (sinon on a de l'endogénéité).
Précisément, si deux variables explicatives x1 et x2 sont corrélées entres elles, si on en laisse une des deux de côté on va attribuer à tort à x1 des effets qui viennent de x2 (biais de variable omise).

Il ne s'agit pas de discuter des conditions d'applications de la régression qui de toute façon porte plutôt sur les résidus et pas sur la distribution jointe des variables mais bien de se rendre compte que rentrer des variables corrélées amplifient le signal. C'est toute la thématique de l'analyse de l'effet taille par exemple et le rôle des analyses multivariées.

En utilisant les deux variables, les MCO permettent de distinguer l'effet de x1 et de x2 sur y

non. tu auras l'effet de x1, de x2 et l'effet de l'interaction à prendre en compte. Et si x1 et x2 sont corrélées alors les effets deviennent très vite indicernables. Et les moindres carrés ordinaires sont la méthode de base en régression donc je ne vois pas bien ce que ça vient faire ici.

Nik

J'ai cité les MCO comme exemple parce qu'il était question de régression linéaire et parce que c'est la méthode la plus simple et la plus répandue, mais c'est tout aussi vrai avec les autres modèles de régression (probit, logit, TSLS, quantile ou n'importe quelle autre). Je me répète, une corrélation des explicatives ne pose problème que si elle est parfaite ou au moins très forte (multicolinéarité). En pratique, les variables sont souvent corrélées entre elles.
Un exemple, imagine que tu régresses le taux de mortalité infantile sur le montant de l'aide au développement. Tu obtiendras probablement un coefficient positif significatif. Ce qui te conduirait à dire qu'une augmentation de l'aide au développement conduit à une hausse de la mortalité infantile. Ce qui serait bien sûr un non-sens. Alors que si tu régresses le taux de mortalité infantile sur le montant de l'aide au développement ET sur le PIB (ou toute autre mesure de la richesse), tu auras un coefficient négatif pour l'aide au développement (plus on aide un pays, plus la mortalité baisse toutes choses étant égales par ailleurs) et également un coefficient négatif pour le PIB (plus le PIB est faible, plus la mortalité est élevée, toutes choses étant égales par ailleurs). Les deux variables aide au développement et PIB sont (négativement) corrélées, mais c'est précisément si tu en omets une que tes résultats vont être biaisés.

Je me répète, une corrélation des explicatives ne pose problème que si elle est parfaite ou au moins très forte (multicolinéarité). En pratique, les variables sont souvent corrélées entre elles.

La question de départ était bien de discuter de prédicteurs corrélés alors je ne vois pas quel est le sens de ton intervention. Tout ce que je dis c'est que la redondance de l'information dans une régression n'est pas à prendre à la légère. C'est une considération à faire avant toute chose et il n'y a pas que le cas de la multicolinéarité qui explique surtout une instabilité des paramètres. Il existe aussi le cas de variables non explicative de la variable à modéliser et qui le deviennent par corrélation avec des variables qui elles expliquent réellement la variable d'intérêt. On peut citer aussi le cas des variables latentes...

Un exemple, imagine que tu régresses le taux de mortalité infantile sur le montant de l'aide au développement. Tu obtiendras probablement un coefficient positif significatif. Ce qui te conduirait à dire qu'une augmentation de l'aide au développement conduit à une hausse de la mortalité infantile. Ce qui serait bien sûr un non-sens.

???je ne vois pas pourquoi un pays aidé verrait sa mortalité augmenter et ensuite pourquoi l'ajout du PIB viendrait modifier la donne...ton exemple ne me parle pas beaucoup.

Bref je ne m'étale pas plus. Il me semble qu'on est d'accord et que cette discussion n'a pas lieu d'être.

nik