Les posteurs les plus actifs de la semaine
Pchalix
 
victornitho
 
joyeux_lapin13
 
zezima
 
c@ssoulet
 


régression logistique modalité de référence

Voir le sujet précédent Voir le sujet suivant Aller en bas

régression logistique modalité de référence

Message par niaboc le Lun 18 Fév 2013 - 18:41

Bonjour,

Est-ce que les tests de significativité pour les modalités d'une variable qualitative ont un sens?

En effet, nous avons, selon le choix de la modalité de référence, des modalités qui peuvent devenir toutes non significatives, ou quasiment toutes significatives...

On peut simplement juger l'apport de la variable via les modèles emboîtés et des critères comme l'aic, bic, déviance?? sans aller plus finement dans l'étude des modalités?

Merci

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Lun 18 Fév 2013 - 19:14

tu voudrais un test pour savir quelle modalité apporte plus ?
Pour ma part il me semble que le plus important c'est la valeur des paramètres donc tu peux regarder l'estimation du paramètre de chaque catégorie et ça te donne une assez bonne idée de la catégorie qui contribue le plus à la différence.

nik

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par niaboc le Mar 19 Fév 2013 - 7:18

Nik a écrit:tu voudrais un test pour savir quelle modalité apporte plus ?


Non, pas vraiment.

Je voudrais savoir dans un modèle ou la semaine rentre en compte, quelle semaines sont significativement différentes d'une semaine de référence.... Mais en changeant la semaine de référence, je peux avoir aucune semaine significative ou alors la moitié des semaines significatives (selon que ma semaine de référence s'écarte ou pas de la moyenne).

D'ou mon premier post.

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Mar 19 Fév 2013 - 7:37

C'est tout l'enjeu des tests post-hoc comme tukey. Mais bon en général une représentation en boxplot aide bien à savoir quelles sont les semaines qui sortent du lot. Dans le modèle tu peux rentrer en référence celle qui te semble la plus faible. Tu auras alors des coefficients plus loin de 0 qui sont toujours plus faciles à évaluer

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par niaboc le Mar 19 Fév 2013 - 8:13

Nik a écrit:C'est tout l'enjeu des tests post-hoc comme tukey. Mais bon en général une représentation en boxplot aide bien à savoir quelles sont les semaines qui sortent du lot. Dans le modèle tu peux rentrer en référence celle qui te semble la plus faible. Tu auras alors des coefficients plus loin de 0 qui sont toujours plus faciles à évaluer

Mais avec des test comme Tukey je n'ai pas le "toute chose égale par ailleurs" que j'ai dans un modèle.

Et il ne me faut pas que toute les semaines soient positives, car après je me sers des coefficients pour continuer mon étude, afin de repérer les semaines plus ou moins fortes vis à vis de la variable à expliquer.

Le souci c'est que j'ai l'impression que les test de significativité des modalité ne veulent rien dire pour une variable qualitative... y'a t-il d'autres moyen?
Peut-être avec des contrastes?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Mar 19 Fév 2013 - 8:29

Et il ne me faut pas que toute les semaines soient positives, car après je me sers des coefficients pour continuer mon étude, afin de repérer les semaines plus ou moins fortes vis à vis de la variable à expliquer.
mais ça change rien que les coeff soient tous positifs à partir du momne toù tu sais quel est ton référentiel. L'intérêt de prendre la plus basse c'est justement d'identifier les semaines qui s'écartent le plus de la plus basse, donc les semaines les plus fortes.
Mais peut être que je ne cerne pas complètement ce à quoi tu veux arriver

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par niaboc le Mar 19 Fév 2013 - 10:49

Dans mon cas c'est important d'avoir des coefficients positifs pour les semaines ayant des valeurs plus fortes que la moyenne, et négatifs pour les semaines ayant des valeurs moins fortes que la moyenne.

Le signe du coefficient est important pour certains calculs que je fais pas la suite. (je ne peux pas en dire plus, nous sommes surveillés je pense)

C'est pourquoi j'ai mis une semaine à peu près moyenne comme semaine de référence et que des coefficients ne sont plus significatifs, par rapport à d'autres semaines...
d'ou ma question, est-ce que la significativité des modalité à un sens pour une variable qualit? et comment contrer ça?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Mer 17 Juil 2013 - 13:33

Bonjour,
je pense avoir le même problème. Pour ma part, je fais un score d'octroi de crédit. J'ai fait une sélection stepwise après discrétisation de l'ensemble de mes variables. Dans mon modèle résultant, j'obtiens des variables dont les modalités ne sont pas significatives. J'ai lu (étude de cas en statistiques décisionnelles-Tufféry) qu'on pouvait dans ce cas regrouper les modalités de même signe, c'est-à-dire vis-à-vis de la variable à expliquer. Mais pour ma part, je pense que les regroupement issus de cette méthode ne sont pas pertinents d'un point de vu métier. Que faire alors ?. Changer les modalités de référence peut-il avoir un impact sur la significativité des modalités des variables retenues ?

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par droopy le Mer 17 Juil 2013 - 14:33

Nyavlis a écrit:Changer les modalités de référence peut-il avoir un impact sur la significativité des modalités des variables retenues ?
Oui ça peut changer. Admettons que tu as trois modalités, les 2e et 3eme modalités différentes de la première mais pas différente l'une de l'autre. Autrement dit, 1≠2, 1≠3 et 2=3. Si la modalité de ref c'est la première alors tes modalités 2 et 3 seront significatives. Par contre si tu passe la modalité en modalité de ref, alors la modalité 1 sera significative mais plus la 3.

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Mer 17 Juil 2013 - 14:45

Mais alors du coup, d'un point de vue statistique, est-ce que ca a un sens de modifier les modalités de références ? Ou bien je peux partir du principe que du moment que mes variables sont significatives séparément en présence des autres, alors mon modèle est valable ?

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par droopy le Mer 17 Juil 2013 - 15:00

tout dépend de ce que tu cherches à faire. Si tu cherches à savoir si un facteur a un impact sur ta variable expliquée alors non parce que ce que tu vas regarder ça sera le ration de déviance de ce facteur et non la significativité des paramètres des modalités du facteur

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Jeu 18 Juil 2013 - 8:35

Merci pour ces explications Smile
En fait, Il est important dans mon cas que les variables soient significatives, puisque mon interprétation du score se basera directement sur elles. Finalement, j'ai modifié la référence des modalités pour chaque variable (la modalité la plus représentée dans mon échantillon). Puis pour mes variables dont certaines modalités n'étaient pas significatives, j'ai créées des variables indicatrices pour chaque modalité. Ainsi les modalités non significatives ne sont plus ressorties dans la stepwise. Qu'est-ce que vous en pensez ?

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par droopy le Jeu 18 Juil 2013 - 9:10

que finalement dans ta stepwise, toutes les modalités non significatives vont-être regroupées en un seul groupe. A toi de voir si ça à du sens ou non. La stepwise est aussi sensible à l'ordre d'entrée des variables alors pour être sur de ta sélection il te faut modifier l'ordre d'entrée plusieurs fois pour être sur qu'au final tu retiens toujours les mêmes.

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Jeu 18 Juil 2013 - 9:30

D'un point de vue métier, ça a du sens. Pour vérifier l'ordre d'entrée des variables, j'ai fait une sélection pas à pas, forward puis backward, au seuil 5%. Je retrouve les mêmes variables.

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Jeu 18 Juil 2013 - 9:49

Salut,

cette histoire de significativité, ça devrait être que secondaire. Significatif ne rime pas avec "importance".
Dans le cas de niaboc, il avait une contrainte sur le signe des coefficients donc la discussion prenait tout son sens là dessus.Si dans ton cas c'est l'identification des variables importantes qui compte alors la significativité n'est qu'une étape. D'ailleurs, j'ose espérer que tu n'as pas fait une stepwise basée sur la p-value car il y a une abondante littérature sur les problèmes liés à ces méthodes.

Puis pour mes variables dont certaines modalités n'étaient pas significatives, j'ai créées des variables indicatrices pour chaque modalité. Ainsi les modalités non significatives ne sont plus ressorties dans la stepwise. Qu'est-ce que vous en pensez ?
Tu as séparé une variable qualitative à k modalités en k variables "indépendantes" ?

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Jeu 18 Juil 2013 - 11:37

D'ailleurs, j'ose espérer que tu n'as pas fait une stepwise basée sur la p-value car il y a une abondante littérature sur les problèmes liés à ces méthodes.

Je me suis basé sur divers indicateurs, comme l'AIC, BIC, la déviance,le R², ainsi que la p-value.


Tu as séparé une variable qualitative à k modalités en k variables "indépendantes" ?
Oui. Cela permet d'écarter les modalités qui ne vont pas être discriminantes vis-à-vis de ma variable cible. Cette méthode est proposé dans l'ouvrage de S. Tufféry également.

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Jeu 18 Juil 2013 - 12:34

oui. Je trouve un peu étrange de les rentrer comme ça puisqu'elles ne sont pas indépendantes. Dans ton cas elles sont "éliminées" dans l'étape de sélection de modèle si j'ai bien compris donc à la limite c'est pas grave mais la démarche reste étrange pour moi.

Je me suis basé sur divers indicateurs, comme l'AIC, BIC, la déviance,le R², ainsi que la p-value.
Je veux bien comprendre que tu as regardé ces indicateurs mais dans la stepwise proprement dite, tu n'as pas pu rentrer tout ça, non ?

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Jeu 18 Juil 2013 - 12:57

.

Je veux bien comprendre que tu as regardé ces indicateurs mais dans la stepwise proprement dite, tu n'as pas pu rentrer tout ça, non ?.

Je ne suis pas sûr de comprendre la question... En ajoutant les instructions RSQUARE et RESDEV=deviance dans la sélection stepwise j'obtiens le R² et les résidus de déviance à chaque étape. En ce qui concerne l'AIC et BIC, la procédure logistique les sort directement.

Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nik le Jeu 18 Juil 2013 - 13:25

En ajoutant les instructions RSQUARE et RESDEV=deviance dans la sélection stepwise j'obtiens le R² et les résidus de déviance à chaque étape
je ne sais pas quel logiciel tu utilises. Mais oui, ça ok mais c'est pas pour autant que la sélection de modèle s'est déroulée avec ces critères pris en compte. Il faut regarder dans la doc quel est le critère qui définit le ""meilleur"" modèle.

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Nyavlis le Jeu 18 Juil 2013 - 13:32

je ne sais pas quel logiciel tu utilises.
J'utilise le logiciel SAS.
Tous ces critères semblent converger. J'obtiens un taux global de bien classés plutôt bon.


Nyavlis

Nombre de messages : 7
Date d'inscription : 17/07/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par droopy le Jeu 18 Juil 2013 - 14:55

Ce qui ne veut pas dire qu'il n'y a pas de l'overfitting. La stepwise est connue pour être "conservatrice"

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: régression logistique modalité de référence

Message par Contenu sponsorisé Aujourd'hui à 8:10


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum