Les posteurs les plus actifs de la semaine
Aucun utilisateur |
Sujets les plus vus
régression logistique modalité de référence
4 participants
Page 1 sur 1
régression logistique modalité de référence
Bonjour,
Est-ce que les tests de significativité pour les modalités d'une variable qualitative ont un sens?
En effet, nous avons, selon le choix de la modalité de référence, des modalités qui peuvent devenir toutes non significatives, ou quasiment toutes significatives...
On peut simplement juger l'apport de la variable via les modèles emboîtés et des critères comme l'aic, bic, déviance?? sans aller plus finement dans l'étude des modalités?
Merci
Est-ce que les tests de significativité pour les modalités d'une variable qualitative ont un sens?
En effet, nous avons, selon le choix de la modalité de référence, des modalités qui peuvent devenir toutes non significatives, ou quasiment toutes significatives...
On peut simplement juger l'apport de la variable via les modèles emboîtés et des critères comme l'aic, bic, déviance?? sans aller plus finement dans l'étude des modalités?
Merci
niaboc- Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008
Re: régression logistique modalité de référence
tu voudrais un test pour savir quelle modalité apporte plus ?
Pour ma part il me semble que le plus important c'est la valeur des paramètres donc tu peux regarder l'estimation du paramètre de chaque catégorie et ça te donne une assez bonne idée de la catégorie qui contribue le plus à la différence.
nik
Pour ma part il me semble que le plus important c'est la valeur des paramètres donc tu peux regarder l'estimation du paramètre de chaque catégorie et ça te donne une assez bonne idée de la catégorie qui contribue le plus à la différence.
nik
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
Nik a écrit:tu voudrais un test pour savir quelle modalité apporte plus ?
Non, pas vraiment.
Je voudrais savoir dans un modèle ou la semaine rentre en compte, quelle semaines sont significativement différentes d'une semaine de référence.... Mais en changeant la semaine de référence, je peux avoir aucune semaine significative ou alors la moitié des semaines significatives (selon que ma semaine de référence s'écarte ou pas de la moyenne).
D'ou mon premier post.
niaboc- Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008
Re: régression logistique modalité de référence
C'est tout l'enjeu des tests post-hoc comme tukey. Mais bon en général une représentation en boxplot aide bien à savoir quelles sont les semaines qui sortent du lot. Dans le modèle tu peux rentrer en référence celle qui te semble la plus faible. Tu auras alors des coefficients plus loin de 0 qui sont toujours plus faciles à évaluer
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
Nik a écrit:C'est tout l'enjeu des tests post-hoc comme tukey. Mais bon en général une représentation en boxplot aide bien à savoir quelles sont les semaines qui sortent du lot. Dans le modèle tu peux rentrer en référence celle qui te semble la plus faible. Tu auras alors des coefficients plus loin de 0 qui sont toujours plus faciles à évaluer
Mais avec des test comme Tukey je n'ai pas le "toute chose égale par ailleurs" que j'ai dans un modèle.
Et il ne me faut pas que toute les semaines soient positives, car après je me sers des coefficients pour continuer mon étude, afin de repérer les semaines plus ou moins fortes vis à vis de la variable à expliquer.
Le souci c'est que j'ai l'impression que les test de significativité des modalité ne veulent rien dire pour une variable qualitative... y'a t-il d'autres moyen?
Peut-être avec des contrastes?
niaboc- Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008
Re: régression logistique modalité de référence
mais ça change rien que les coeff soient tous positifs à partir du momne toù tu sais quel est ton référentiel. L'intérêt de prendre la plus basse c'est justement d'identifier les semaines qui s'écartent le plus de la plus basse, donc les semaines les plus fortes.Et il ne me faut pas que toute les semaines soient positives, car après je me sers des coefficients pour continuer mon étude, afin de repérer les semaines plus ou moins fortes vis à vis de la variable à expliquer.
Mais peut être que je ne cerne pas complètement ce à quoi tu veux arriver
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
Dans mon cas c'est important d'avoir des coefficients positifs pour les semaines ayant des valeurs plus fortes que la moyenne, et négatifs pour les semaines ayant des valeurs moins fortes que la moyenne.
Le signe du coefficient est important pour certains calculs que je fais pas la suite. (je ne peux pas en dire plus, nous sommes surveillés je pense)
C'est pourquoi j'ai mis une semaine à peu près moyenne comme semaine de référence et que des coefficients ne sont plus significatifs, par rapport à d'autres semaines...
d'ou ma question, est-ce que la significativité des modalité à un sens pour une variable qualit? et comment contrer ça?
Le signe du coefficient est important pour certains calculs que je fais pas la suite. (je ne peux pas en dire plus, nous sommes surveillés je pense)
C'est pourquoi j'ai mis une semaine à peu près moyenne comme semaine de référence et que des coefficients ne sont plus significatifs, par rapport à d'autres semaines...
d'ou ma question, est-ce que la significativité des modalité à un sens pour une variable qualit? et comment contrer ça?
niaboc- Nombre de messages : 1001
Age : 37
Localisation : Paris
Date d'inscription : 05/05/2008
Re: régression logistique modalité de référence
Bonjour,
je pense avoir le même problème. Pour ma part, je fais un score d'octroi de crédit. J'ai fait une sélection stepwise après discrétisation de l'ensemble de mes variables. Dans mon modèle résultant, j'obtiens des variables dont les modalités ne sont pas significatives. J'ai lu (étude de cas en statistiques décisionnelles-Tufféry) qu'on pouvait dans ce cas regrouper les modalités de même signe, c'est-à-dire vis-à-vis de la variable à expliquer. Mais pour ma part, je pense que les regroupement issus de cette méthode ne sont pas pertinents d'un point de vu métier. Que faire alors ?. Changer les modalités de référence peut-il avoir un impact sur la significativité des modalités des variables retenues ?
je pense avoir le même problème. Pour ma part, je fais un score d'octroi de crédit. J'ai fait une sélection stepwise après discrétisation de l'ensemble de mes variables. Dans mon modèle résultant, j'obtiens des variables dont les modalités ne sont pas significatives. J'ai lu (étude de cas en statistiques décisionnelles-Tufféry) qu'on pouvait dans ce cas regrouper les modalités de même signe, c'est-à-dire vis-à-vis de la variable à expliquer. Mais pour ma part, je pense que les regroupement issus de cette méthode ne sont pas pertinents d'un point de vu métier. Que faire alors ?. Changer les modalités de référence peut-il avoir un impact sur la significativité des modalités des variables retenues ?
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
Oui ça peut changer. Admettons que tu as trois modalités, les 2e et 3eme modalités différentes de la première mais pas différente l'une de l'autre. Autrement dit, 1≠2, 1≠3 et 2=3. Si la modalité de ref c'est la première alors tes modalités 2 et 3 seront significatives. Par contre si tu passe la modalité en modalité de ref, alors la modalité 1 sera significative mais plus la 3.Nyavlis a écrit:Changer les modalités de référence peut-il avoir un impact sur la significativité des modalités des variables retenues ?
droopy- Nombre de messages : 1156
Date d'inscription : 04/09/2009
Re: régression logistique modalité de référence
Mais alors du coup, d'un point de vue statistique, est-ce que ca a un sens de modifier les modalités de références ? Ou bien je peux partir du principe que du moment que mes variables sont significatives séparément en présence des autres, alors mon modèle est valable ?
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
tout dépend de ce que tu cherches à faire. Si tu cherches à savoir si un facteur a un impact sur ta variable expliquée alors non parce que ce que tu vas regarder ça sera le ration de déviance de ce facteur et non la significativité des paramètres des modalités du facteur
droopy- Nombre de messages : 1156
Date d'inscription : 04/09/2009
Re: régression logistique modalité de référence
Merci pour ces explications
En fait, Il est important dans mon cas que les variables soient significatives, puisque mon interprétation du score se basera directement sur elles. Finalement, j'ai modifié la référence des modalités pour chaque variable (la modalité la plus représentée dans mon échantillon). Puis pour mes variables dont certaines modalités n'étaient pas significatives, j'ai créées des variables indicatrices pour chaque modalité. Ainsi les modalités non significatives ne sont plus ressorties dans la stepwise. Qu'est-ce que vous en pensez ?
En fait, Il est important dans mon cas que les variables soient significatives, puisque mon interprétation du score se basera directement sur elles. Finalement, j'ai modifié la référence des modalités pour chaque variable (la modalité la plus représentée dans mon échantillon). Puis pour mes variables dont certaines modalités n'étaient pas significatives, j'ai créées des variables indicatrices pour chaque modalité. Ainsi les modalités non significatives ne sont plus ressorties dans la stepwise. Qu'est-ce que vous en pensez ?
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
que finalement dans ta stepwise, toutes les modalités non significatives vont-être regroupées en un seul groupe. A toi de voir si ça à du sens ou non. La stepwise est aussi sensible à l'ordre d'entrée des variables alors pour être sur de ta sélection il te faut modifier l'ordre d'entrée plusieurs fois pour être sur qu'au final tu retiens toujours les mêmes.
droopy- Nombre de messages : 1156
Date d'inscription : 04/09/2009
Re: régression logistique modalité de référence
D'un point de vue métier, ça a du sens. Pour vérifier l'ordre d'entrée des variables, j'ai fait une sélection pas à pas, forward puis backward, au seuil 5%. Je retrouve les mêmes variables.
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
Salut,
cette histoire de significativité, ça devrait être que secondaire. Significatif ne rime pas avec "importance".
Dans le cas de niaboc, il avait une contrainte sur le signe des coefficients donc la discussion prenait tout son sens là dessus.Si dans ton cas c'est l'identification des variables importantes qui compte alors la significativité n'est qu'une étape. D'ailleurs, j'ose espérer que tu n'as pas fait une stepwise basée sur la p-value car il y a une abondante littérature sur les problèmes liés à ces méthodes.
cette histoire de significativité, ça devrait être que secondaire. Significatif ne rime pas avec "importance".
Dans le cas de niaboc, il avait une contrainte sur le signe des coefficients donc la discussion prenait tout son sens là dessus.Si dans ton cas c'est l'identification des variables importantes qui compte alors la significativité n'est qu'une étape. D'ailleurs, j'ose espérer que tu n'as pas fait une stepwise basée sur la p-value car il y a une abondante littérature sur les problèmes liés à ces méthodes.
Tu as séparé une variable qualitative à k modalités en k variables "indépendantes" ?Puis pour mes variables dont certaines modalités n'étaient pas significatives, j'ai créées des variables indicatrices pour chaque modalité. Ainsi les modalités non significatives ne sont plus ressorties dans la stepwise. Qu'est-ce que vous en pensez ?
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
D'ailleurs, j'ose espérer que tu n'as pas fait une stepwise basée sur la p-value car il y a une abondante littérature sur les problèmes liés à ces méthodes.
Je me suis basé sur divers indicateurs, comme l'AIC, BIC, la déviance,le R², ainsi que la p-value.
Oui. Cela permet d'écarter les modalités qui ne vont pas être discriminantes vis-à-vis de ma variable cible. Cette méthode est proposé dans l'ouvrage de S. Tufféry également.
Tu as séparé une variable qualitative à k modalités en k variables "indépendantes" ?
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
oui. Je trouve un peu étrange de les rentrer comme ça puisqu'elles ne sont pas indépendantes. Dans ton cas elles sont "éliminées" dans l'étape de sélection de modèle si j'ai bien compris donc à la limite c'est pas grave mais la démarche reste étrange pour moi.
Je veux bien comprendre que tu as regardé ces indicateurs mais dans la stepwise proprement dite, tu n'as pas pu rentrer tout ça, non ?Je me suis basé sur divers indicateurs, comme l'AIC, BIC, la déviance,le R², ainsi que la p-value.
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
.
Je ne suis pas sûr de comprendre la question... En ajoutant les instructions RSQUARE et RESDEV=deviance dans la sélection stepwise j'obtiens le R² et les résidus de déviance à chaque étape. En ce qui concerne l'AIC et BIC, la procédure logistique les sort directement.
Je veux bien comprendre que tu as regardé ces indicateurs mais dans la stepwise proprement dite, tu n'as pas pu rentrer tout ça, non ?.
Je ne suis pas sûr de comprendre la question... En ajoutant les instructions RSQUARE et RESDEV=deviance dans la sélection stepwise j'obtiens le R² et les résidus de déviance à chaque étape. En ce qui concerne l'AIC et BIC, la procédure logistique les sort directement.
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
je ne sais pas quel logiciel tu utilises. Mais oui, ça ok mais c'est pas pour autant que la sélection de modèle s'est déroulée avec ces critères pris en compte. Il faut regarder dans la doc quel est le critère qui définit le ""meilleur"" modèle.En ajoutant les instructions RSQUARE et RESDEV=deviance dans la sélection stepwise j'obtiens le R² et les résidus de déviance à chaque étape
Nik- Nombre de messages : 1606
Date d'inscription : 23/05/2008
Re: régression logistique modalité de référence
J'utilise le logiciel SAS.je ne sais pas quel logiciel tu utilises.
Tous ces critères semblent converger. J'obtiens un taux global de bien classés plutôt bon.
Nyavlis- Nombre de messages : 7
Date d'inscription : 17/07/2013
Re: régression logistique modalité de référence
Ce qui ne veut pas dire qu'il n'y a pas de l'overfitting. La stepwise est connue pour être "conservatrice"
droopy- Nombre de messages : 1156
Date d'inscription : 04/09/2009
Sujets similaires
» significativité d'une modalité dans un modèle logistique
» modalité de référence en régression
» Régression Logistique vs Régression Linéaire
» régression multiple et régression logistique
» régression logistique
» modalité de référence en régression
» Régression Logistique vs Régression Linéaire
» régression multiple et régression logistique
» régression logistique
Page 1 sur 1
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum
|
|