Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

Le Deal du moment :
Coffret dresseur d’élite ETB ...
Voir le deal
56.90 €

régression loi conditionnelle

4 participants

Aller en bas

regression - régression loi conditionnelle Empty régression loi conditionnelle

Message par niaboc Lun 22 Fév 2016 - 15:17

Bonjour,

je me pose une question théorique.

Lorsqu'on fait une régression linéaire, on le fait généralement sur des variables mesurées continues (comme la taille, etc.). Ce sont souvent des variables strictement positives. Cependant, nous faisons une régression en utilisant une loi normale. Ne serait-il pas plus juste de travailler avec des lois conditionnelles, ou lois tronquées?

https://fr.wikipedia.org/wiki/Loi_tronqu%C3%A9e


niaboc
niaboc
niaboc

Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par Eric Wajnberg Lun 22 Fév 2016 - 16:17

Lorsqu'on fait des régression linéaires sur des variables continues et normales, ce ne sont pas souvent des variables strictement positives, loin s'en faut. L'exemple qui me vient en tête est par exemple la prise ou perte de poids, typiquement gaussienne, qui peut donc être positive, nulle ou négative. Si vraiment on est dans des variables toujours positives, ou bien l’espérance est élevée et la valeur observée n'a aucune chance d'être négative (la proba selon une loi normale est extrêmement faible ou nulle), comme la taille, ou bien la loi normale n'est pas la bonne loi.

Maintenant, sur le plan théorique, on peut toujours faire des régressions sur loi tronquées, mais - hormis le fait qu'il faut le justifier - on sort du cadre du modèle linéaire général, et la méthode des moindres carrées est connue comme étant alors biaisée. Il faut alors écrire la vraisemblance correspondante et la maximiser pour estimer les paramètres. On rentre dans un autre cadre théorique.

HTH, Eric.
Eric Wajnberg
Eric Wajnberg

Nombre de messages : 1237
Date d'inscription : 14/09/2012

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par gg Lun 22 Fév 2016 - 16:20

Bonjour.

[Edit : Le message d'Eric apporte pas mal d'informations - je laisse celui-ci, écrit avant que le sien soit publié, pour complément éventuel]

Dans certains cas, c'est préférable. Ce qui veut dire qu'on ne peut pas justifier de la Normalité approximative des résidus (ce sont eux qui doivent provenir d'une loi de Gauss - voir ce fil).
Cependant, les propriétés de la loi Normale font que la probabilité d'avoir des valeurs à plus de 5 écarts types est infinitésimale, négligeable en pratique. Ce qui fait que dans la plupart des cas, on peut ne même pas y penser. Sans compter qu'il s'agit d'un modèle.

Cordialement.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par niaboc Lun 22 Fév 2016 - 22:12

Bonsoir,

c'est bien ce que je pensais, ça complique beaucoup les calculs, les MCO sont en effet biaisés, l'analyse de la normalité des résidus seraient à revoir, etc. et à moins d'avoir un jeu de données un peu étrange ça ne vaut jamais le coup de s'embêter avec ça.

Mais du point de vue complètement théorique ce serait plus propre :-).

Merci et bonne soirée!
niaboc
niaboc

Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par Nik Mar 23 Fév 2016 - 7:50

Salut,
Mais du point de vue complètement théorique ce serait plus propre

En fait non, tout dépend du type du modèle utilisé mais pour ceux dont les hypothèses portent sur les erreurs, quelle que soit l'échelle de la variable d'origine on regarde bien la distribution des déviations par rapport à la moyenne.
A partir du moment où cette distribution respecte les hypothèses initiales, on colle bien au cadre théorique fixé.

Si par exemple, on parlait d'un modèle Beta, alors l'hypothèse de distribution se fait bien sur la variable à expliquer et non sur la la distribution des erreurs.

Nik

Nik

Nombre de messages : 1606
Date d'inscription : 23/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par niaboc Mer 24 Fév 2016 - 13:03

Nik a écrit:Salut,
Mais du point de vue complètement théorique ce serait plus propre

En fait non, tout dépend du type du modèle utilisé mais pour ceux dont les hypothèses portent sur les erreurs, quelle que soit l'échelle de la variable d'origine on regarde bien la distribution des déviations par rapport à la moyenne


Je comprend ce que tu veux dire mais je n'en suis pas certain, donc je vais essayer tenter un raisonnement bizarre Twisted Evil.
Imaginons que nous avons :

Y=a+bx+résidus

si les résidus suivent une loi normale (hypothèse du modèle) alors Y|x suit une loi normale également.
Or si la distribution de Y|x n'est pas symétrique (loi tronquée à 0 par exemple car Y ne peut pas prendre de valeurs négatives), ça signifie que les résidus ne peuvent pas suivre une loi normale (conditionnellement à X)... Y'aurait-il une différence entre la distribution de l'ensemble des résidus (qui suivrait une loi normale) et la distribution du résidu conditionnellement à X (qui suivrait une loi normale tronquée)? Et l'hypothèse d'exogénéité du coup?
niaboc
niaboc

Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par gg Mer 24 Fév 2016 - 13:36

Bonjour.

Revenons à l'idée initiale, une variable Y positive. Si les erreurs sur Y peuvent être de l'ordre de 1, il est malsain d'utiliser des valeurs de X pour lesquelles Y est de l'ordre de 0 à 4 ou 5, car l'erreur relative devient énorme.
Autrement dit, il est nécessaire de réfléchir à quelles données on utilise, avant la modélisation.

Cordialement.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par niaboc Mer 24 Fév 2016 - 13:47

Je re-précise que mes questions restent dans un cadre théorique et qui peut donc s'appliquer sur n'importe quelles données, aussi tordues soient-elles ; pour voir dans un second temps comment on utilise la théorie le plus proprement possible. Et non pas l'inverse, c'est pour ça que ta réponse ne me satisfait pas beaucoup...

Soit je n'ai pas compris ce que tu voulais dire ou peut-être que Nick trouvera les bons mots pour m'aider à comprendre  :-).
niaboc
niaboc

Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par gg Mer 24 Fév 2016 - 16:11

Alors si c'est du théorique, la réponse est évidente : Une variable positive ne relève pas de la loi Normale. Mais on le sait.

Et justement, on ne peut appliquer la théorie à des cas "limite" que s'ils sont sains. On ne peut pas "appliquer sur n'importe quelles données", par exemple sur des données comportant des valeurs aberrantes, ou des valeurs probablement erronées, ou des enquêtes biaisées, ou ...

Cordialement.

NB : Bien sûr, si le modèle théorique n'est pas utilisable, il faut trouver autre chose.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par niaboc Mer 24 Fév 2016 - 17:24

je comprends ce que tu veux dire, mais c'est plus la remarque de Nick qui m'a fait réfléchir
niaboc
niaboc

Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

regression - régression loi conditionnelle Empty Re: régression loi conditionnelle

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut


 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum