Modèle prédictif à K classes

Bonjour,

J'ai, pour un échantillon de n individus, la classe associée à chacun. Il y a 9 classes au total.
Je souhaiterais prédire pour chaque nouvel individu la classe à laquelle il appartient. Pour chaque individu, je dispose de variables quantitatives et qualitatives.

D'habitude, je suis plutôt confrontée au cas où il y a 2 classes et j'utilise généralement une régression logistique. Ca fait quelques années que j'ai quitté l'école donc j'essaye de me replonger dans la théorie pour comprendre quel modèle pourrait être adapté. De mes souvenirs, la régression logistique multinomiale peut bien marcher dans le cas où on a K= 3;4 .. mais je ne suis pas sûre qu'avec K=9, elle soit adaptée mais j'avoue que je ne sais plus trop comment ça fonctionne : est-ce qu'il s'agit bien de faire K régressions logistiques "binaires" avec à chaque fois Y=K vs toutes les autres classes (ce qu'on appelle One vs All)? Ou bien suis-je à côte de la plaque ?

Si quelqu'un pouvait éclairer ma lanterne là-dessus, ça m'aiderait grandement..

D'autre part, quelles autres méthodes pourraient convenir à mon problème ?

Merci par avance

Bonjour,

Je ne connais pas bien les regressions logistiques multinomiales, mais à première vue je dirais plutôt qu'une methode de data mining conviendrait mieux (?).

Ici ce serait une méthode supervisée car on connait le nombre de classe à priori. Je pencherai pour une méthode de classification telle que K plus proche voisins, les arbres de décisions et le classifieur naif de Bayes, ce sont ceux que je connais.. peut etre il y en existe d'autre, une petite recherche sur internet et je suis tombé sur ceci qui pourra vous donner une idée..

Hello,

Je pense qu'une méthode du style "One-vs-all" s'appliquerait bien à ton cas non?

Cdlt,

Qualitative

Bonjour,

une régression logistique multinomiale peut-être envisageable. Mais ça veut dire qu'il te faut également beaucoup de données, car 9 classes c'est beaucoup.

Ce n'est pas la même chose que 9 régressions logistiques, puisque'ici la somme des proba de chacune de tes classes va sommer à 1... ce qui ne sera pas le cas de tes 8 régressions logistiques.

Il faut voir si ta régression logistique est ordinale ou non également, car la méthode peut être un peu différente (reg log ordinale à odd-ratio cumulatifs par exemple).

Tu pourras trouver beaucoup de documents très bien écrits sur internet concernant les régressions logistique multinomiales.

Un arbre de décision avec 9 classes ça fait peut-être beaucoup également... a voir si ça ne donne pas un truc d'un peu trop "brouillon".

Sinon je pense que l'analyse discriminante bayésienne peut-être également une bonne méthode dans ton cas.

Niaboc

Bonjour,

Merci à tous pour vos réponses.

Non, dans mon cas, les classes ne sont pas ordonnées.
Si je fais 9 régressions logistiques (One vs all), comment je compare les résultats obtenus par chaque ?  Je vais obtenir une probabilité pour chaque individu et pour chaque modèle mais derrière, est-ce que j'ai le droit de comparer les probabilités ? Sachant qu'elles ne viennent pas du même modèle ?

En gros, si j'ai

Individu proba A proba B proba C
AAAAA 0,2 0,15 0,3

est-ce que je peux dire que AAAAA appartient à la classe C ? Je n'en suis pas sûre..


Je vais aussi regarder l'analyse discriminante (j'ai oublié ce que c'était )

Merci encore !

Hello,

Oui tu prends la classe k qui maximise ta probabilité d'être dans cette classe k sachant tes inputs. Pourquoi tu n'aurais pas le droit de le faire?
Dans ton exemple oui AAAAA a plus de chance d'appartenir à la classe C.

Sinon comme le dit niaboc il y a beaucoup de docs sur les reg.log. multinomiale.

Bon courage

Qualitative

Je ne pense pas que tu aies le droit

Tu sais juste que AAAAA a plus de chance d'appartenir à la classe AAAAA qu'au reste, mais pas que AAAAA a plus de chance d'appartenir à la classe A qu'à la classe C...

Niaboc

Dans le MOOC Machine Learning de Standford sur coursera, il y a une partie sur le One vs all et il est dit, comme le dit Qualitative, qu'il suffit ensuite de choisir la classe qui maximise la proba.

Néanmoins, je reste sceptique. J'avais déjà eu ce type de réflexion il y a 2 ans :

https://statistiques.forumpro.fr/t4388-comparaison-de-scores

Je voulais comparer les résultats de 2 régressions logistiques qui calculaient un score d'appétence pour 2 produits différents. Je voulais trouver pour chaque individu quel était le produit auquel il était le plus appétent.

Voilà, je n'avais pas réussi à aboutir à l'époque. Je vais sans doute me tourner vers une autre méthode mais ça m'embête de ne pas avoir les idées claires sur cette méthode..

va voir ici, il y a un petit paragraphe qui dit que c'est pas terrible comme méthode

Bien entendu que ce n'est pas terrible. Tu n'as pas un modèle qui te prédit la classe mais K modèles qui te prédisent est-ce que l'individu appartient ou non à la classe k.

Ceci étant dans la pratique ce que tu veux c'est maximiser la probabilité d'appartenir à une classe sachant un ensemble de variables. Pour les inconvénients ça semble bien expliquer dans le livre que Niaboc cite.
D'ailleurs est-ce que quelqu'un a déjà lu/parcouru ce livre? Est-il conseillé?

Cdlt,

Quali.