Régression logistique généralisée, var avec 10 modalités

Bonjour à tous,
j'ai une petite question qui concerne la régression logistique généralisée (ou polynomiale, je crois que ça désigne la même chose).

En effet je modélise une variable quali avec 10 modalités (construite en fait à partir d'un variable quanti découpée en classe) par une régression logistique, j'ai un modele valide, mais au final quand je regarde comment mon modele répartit les classes estimées je n'en retouve que 5 !

j'ai un echantillon de 50 000 individus, une variable a 10 modalités avec 5000 individus par modalités, et mon modele répartit ces 50000 individus parmis 5 modalités seulement...
savez vous pourquoi seulement 5 classes sont retenues? j'imagine que cela est du au fait que SAS a "du mal" à discriminer les classes entre elles et que du coup seules quelques unes sont retenues...

Du coup j'ai refait le découpage de ma variable quanti d'origine pour n'avoir initialement que 5 classes, mais les résultats de la proc logistic n'ont alors rien à voir...

merci pour votre aide.

Bonjour,

j'ai un peu de mal a voir comment tu arrives a modéliser tes 10 modalités de ta variable avec une régression logistique. La régression logistique (sauf bêtise de ma part) est faite pour modéliser des données binaires : 0 ou 1. Je ne connais pas le logiciel dont tu te sers, peut-être que la même procédure permet de faire de la régression logistique et de la régression multinomiale.

micros

il existe bien des méthodes pour faire une régression logistique sur des variables polynomiales.
Par exemple cette année j'ai eut un cours de scoring, on voulait établir un score d'octroit, on a effectué une premiere modélisation sur la variable binaire "bon payeur" vs "mauvais payeur", puis on l'a comparée avec une modélisation sur une variable polytomique "bon" "mauvais" moyen". il s'agissait bien toujours d'une regression logistique.

par ailleurs je crois qu'il y a une distinction entre la régression logistique sur une variable ordonnée ou non ordonnée (régression logistique généralisée dans ce cas).

après pour ce qui est de la théorie j'avoue que je n'en sais pas plus que ça

edit: je viens de tomber la dessus
http://books.google.fr/books?id=SpnRicZg8WUC&pg=PA168&lpg=PA168&dq=%22proc+logistic%22+(multinomiale,polytomique,ordinale)&source=web&ots=Qg51U8EILj&sig=MiONXz_O8tyAKV9f5l-vPDXFBfQ&hl=fr&sa=X&oi=book_result&resnum=1&ct=result

On parlait bien de la même chose pas dans les mêmes mots.

Tu peux effectivement travaillé soit sur une variable catégorielle ordinale avec des logits cumulés par exemple (cumulative logit) ou sur des réponses catégorielles non ordinales avec une régression logistique multinomiale. Une référence en la matière est :
Categorical Data Analysis 2nd Ed. 2002. Agresti.

De plus ce pdf a été fait pour pouvoir reproduire les analyses du bouquin en S+ ou R :
https://home.comcast.net/~lthompson221/Splusdiscrete2.pdf

Par contre il n'y a a priori pas de raisons qu'il te "perde" tes modalités ...

micros

ah la la quelle galere le vocabulaire en stat

pour ma part je bosse sur SAS...
plein de procédures servent à la même chose c'est une vraie jungle!

je reviens sur mon probleme, qui est assez curieux...
j'ai fait différents test de régression logistique, en redécoupant ma variabe initiale en d'autre classes.
si je découpe ma variable en 5 classes avant de faire la modélisation logistique ordinale, la variable estimée a 5 classes également. de même pour 6,7, et 8 classes (autant en entrée qu'en sortie).
par contre si je découpe initialement en 9 classes je n'en ai que 7 en sortie...
et en 10 classes je n'en obtient donc que 5 en sortie.

je ne comprends pas trop le phénomene...peut etre que avec les découpages en 9 et 10 classes certaines ne sont pas significativement différentes ?

est-ce que selon le nombre de classes que tu utilises, tu ne générerais pas parfois des classes sans effectifs ?

micros

non, toutes mes classes ont des effectifs identiques à chaque fois...

Bonjour,

je dis ça un peu au hasard mais ça fait aussi penser au fait que certaines classes pouraient être des combinaisons linéaires des autres classes. J'ai pas complètement examiné le plan expérimental de départ alors je dis peut être une grosse bêtise. Je sais que cela peut se produire pour des prédicteurs catégoriels alors peut être aussi si la réponse est catégorielle. Il faut vraiment regarder le bouquin d'agresti

Nik

Ben ma variable catégorielle est issue d'un découpage en classes d'une variable continue, donc je vois pas trop comment des classes pourraient etre combinaison linéaire d'autres...

l'explication est peut etre que lorsque j'ai trop de classes certaines d'entre elles ne sont alors pas significativement différentes au vu des variables explicatives et que par conséquent le modele zappe des classes...
qu'en pensez vous?

en effet tu peux oublier la combinaison linéaire ...

Peut-être peux tu poser la question sur le forum de SAS pour avoir une explication de la chose. Après tu peux aussi essayer de modéliser directement ta variable continue plutôt que de la passer un classe.

micros

Ben dans l'absolu le problème est résolu car je travaille finalement avec une variable en 7 classes, et j'en obtient bien 7 en sortie.
mais j'aurais aimé justifier le choix des 7 classes!
je pourrais regarder du coté du forum sas en effet.

Il y a peut-être une option dans ta procédure qui cherche a optimiser le nombre de classe ce qui fait qu'il n'en sélectionnerait plus que 5 à la fin ? As tu essayé de rentrer directement tes classes dans la procédure au lieu de les découper ?

micros

micros corpus a écrit:As tu essayé de rentrer directement tes classes dans la procédure au lieu de les découper ?

je ne comprends pas trop ce que tu veux dire par là...

est-ce que tu rentres directement ta variable en classe dans ta procédure logistic ou est-ce que tu lui rentres les données numériques qu'il découpe en classe ? Est-ce qu'il n'y aurait pas une option dans la procédure que tu utilises qui essaie de maximiser le nombre de classes ?

micros

non c'est moi qui découpe initialement les classes, en prenant les déciles.

Tu utilises quelle procédure de SAS pour ton analyse ?

une proc logistic ordinale, en stepwise.

micros corpus a écrit:en effet tu peux oublier la combinaison linéaire ...
Après tu peux aussi essayer de modéliser directement ta variable continue plutôt que de la passer un classe.

j'ai une petite question micros, quand tu dis de modéliser la variable continue directement, tu veux dire par une régression linéaire multiple?
dans ce cas pour les variables catégorielles tu fais comment, tu les dichotomises?

as tu utiliser la même procédure que ceci :
http://support.sas.com/documentation/cdl/en/statug/59654/HTML/default/statug_logistic_sect054.htm

Tout dépend de ce que tu veux faire, mais si au départ tu as une variable continue que tu découpes en classe pourquoi ne pas essayer de modéliser directement ta variable continue ? Mais encore une fois tout dépend de ce que tu cherches à faire ! Après ils existent de nombreux moyens pour modéliser une variable continue dont la régression linéaire multiple.

micros

oui il s'agit bien de la même procédure.

en fait j'ai opté pour la régression logistique car la régression linéaire multiple donnait des résultats mauvais, et car au regard des distribution de mes variables, une relation linéaire entre mes variables explicatives et ma variable cible était de toute évidence fausse.

Juste pour oter un doute : qu'est ce que tu appelles linéaire ?
C'est quand même domage de découper en classe une variable continue, on perd énormément d'information et en plus ça peut faire apparaitre des patterns qui ne sont pas toujours justes ou du moins pas généralisables.

ce que j'entend par linéaire:

relation du type

Y= alpha + beta1 * X1 + beta2 * X2+...

donc la variable cible Y croit de façon linéaire avec les variables explicatives Xn.

tu peux tout aussi bien avoir un modèle :
y = alpha + beta1 * x1 + beta2 *x1²

Et dans ce cas il sera aussi linéaire. La linéarité se fait par rapport à la variable pas par rapport à la forme de la réponse. Tu peux ainsi envisager de travailler avec des polynômes par exemple.
Si ta variable y n'est pas gaussienne tu peux aussi envisager de la transformer.

micros

oui c'est vrai.

j'avoue que j'ai choisi la solution de facilité en procédant comme je l'ai fait.

maintenant j'en suis à la rédaction de mon rapport de stage et je regrette certains choix qui avec le recul semblent très discutables...