régression loi conditionnelle

Bonjour,

je me pose une question théorique.

Lorsqu'on fait une régression linéaire, on le fait généralement sur des variables mesurées continues (comme la taille, etc.). Ce sont souvent des variables strictement positives. Cependant, nous faisons une régression en utilisant une loi normale. Ne serait-il pas plus juste de travailler avec des lois conditionnelles, ou lois tronquées?

https://fr.wikipedia.org/wiki/Loi_tronqu%C3%A9e


niaboc

Lorsqu'on fait des régression linéaires sur des variables continues et normales, ce ne sont pas souvent des variables strictement positives, loin s'en faut. L'exemple qui me vient en tête est par exemple la prise ou perte de poids, typiquement gaussienne, qui peut donc être positive, nulle ou négative. Si vraiment on est dans des variables toujours positives, ou bien l’espérance est élevée et la valeur observée n'a aucune chance d'être négative (la proba selon une loi normale est extrêmement faible ou nulle), comme la taille, ou bien la loi normale n'est pas la bonne loi.

Maintenant, sur le plan théorique, on peut toujours faire des régressions sur loi tronquées, mais - hormis le fait qu'il faut le justifier - on sort du cadre du modèle linéaire général, et la méthode des moindres carrées est connue comme étant alors biaisée. Il faut alors écrire la vraisemblance correspondante et la maximiser pour estimer les paramètres. On rentre dans un autre cadre théorique.

HTH, Eric.

Bonjour.

[Edit : Le message d'Eric apporte pas mal d'informations - je laisse celui-ci, écrit avant que le sien soit publié, pour complément éventuel]

Dans certains cas, c'est préférable. Ce qui veut dire qu'on ne peut pas justifier de la Normalité approximative des résidus (ce sont eux qui doivent provenir d'une loi de Gauss - voir ce fil).
Cependant, les propriétés de la loi Normale font que la probabilité d'avoir des valeurs à plus de 5 écarts types est infinitésimale, négligeable en pratique. Ce qui fait que dans la plupart des cas, on peut ne même pas y penser. Sans compter qu'il s'agit d'un modèle.

Cordialement.

Bonsoir,

c'est bien ce que je pensais, ça complique beaucoup les calculs, les MCO sont en effet biaisés, l'analyse de la normalité des résidus seraient à revoir, etc. et à moins d'avoir un jeu de données un peu étrange ça ne vaut jamais le coup de s'embêter avec ça.

Mais du point de vue complètement théorique ce serait plus propre :-).

Merci et bonne soirée!

Salut,

Mais du point de vue complètement théorique ce serait plus propre

En fait non, tout dépend du type du modèle utilisé mais pour ceux dont les hypothèses portent sur les erreurs, quelle que soit l'échelle de la variable d'origine on regarde bien la distribution des déviations par rapport à la moyenne.
A partir du moment où cette distribution respecte les hypothèses initiales, on colle bien au cadre théorique fixé.

Si par exemple, on parlait d'un modèle Beta, alors l'hypothèse de distribution se fait bien sur la variable à expliquer et non sur la la distribution des erreurs.

Nik

Nik a écrit:Salut,

Mais du point de vue complètement théorique ce serait plus propre

En fait non, tout dépend du type du modèle utilisé mais pour ceux dont les hypothèses portent sur les erreurs, quelle que soit l'échelle de la variable d'origine on regarde bien la distribution des déviations par rapport à la moyenne

Je comprend ce que tu veux dire mais je n'en suis pas certain, donc je vais essayer tenter un raisonnement bizarre .
Imaginons que nous avons :

Y=a+bx+résidus

si les résidus suivent une loi normale (hypothèse du modèle) alors Y|x suit une loi normale également.
Or si la distribution de Y|x n'est pas symétrique (loi tronquée à 0 par exemple car Y ne peut pas prendre de valeurs négatives), ça signifie que les résidus ne peuvent pas suivre une loi normale (conditionnellement à X)... Y'aurait-il une différence entre la distribution de l'ensemble des résidus (qui suivrait une loi normale) et la distribution du résidu conditionnellement à X (qui suivrait une loi normale tronquée)? Et l'hypothèse d'exogénéité du coup?

Bonjour.

Revenons à l'idée initiale, une variable Y positive. Si les erreurs sur Y peuvent être de l'ordre de 1, il est malsain d'utiliser des valeurs de X pour lesquelles Y est de l'ordre de 0 à 4 ou 5, car l'erreur relative devient énorme.
Autrement dit, il est nécessaire de réfléchir à quelles données on utilise, avant la modélisation.

Cordialement.

Je re-précise que mes questions restent dans un cadre théorique et qui peut donc s'appliquer sur n'importe quelles données, aussi tordues soient-elles ; pour voir dans un second temps comment on utilise la théorie le plus proprement possible. Et non pas l'inverse, c'est pour ça que ta réponse ne me satisfait pas beaucoup...

Soit je n'ai pas compris ce que tu voulais dire ou peut-être que Nick trouvera les bons mots pour m'aider à comprendre  :-).

Alors si c'est du théorique, la réponse est évidente : Une variable positive ne relève pas de la loi Normale. Mais on le sait.

Et justement, on ne peut appliquer la théorie à des cas "limite" que s'ils sont sains. On ne peut pas "appliquer sur n'importe quelles données", par exemple sur des données comportant des valeurs aberrantes, ou des valeurs probablement erronées, ou des enquêtes biaisées, ou ...

Cordialement.

NB : Bien sûr, si le modèle théorique n'est pas utilisable, il faut trouver autre chose.

je comprends ce que tu veux dire, mais c'est plus la remarque de Nick qui m'a fait réfléchir