Modèle prédictif à K classes

Voir le sujet précédent Voir le sujet suivant Aller en bas

Modèle prédictif à K classes

Message par lozeba le Mar 24 Mar 2015 - 10:41

Bonjour,

J'ai, pour un échantillon de n individus, la classe associée à chacun. Il y a 9 classes au total.
Je souhaiterais prédire pour chaque nouvel individu la classe à laquelle il appartient. Pour chaque individu, je dispose de variables quantitatives et qualitatives.

D'habitude, je suis plutôt confrontée au cas où il y a 2 classes et j'utilise généralement une régression logistique. Ca fait quelques années que j'ai quitté l'école donc j'essaye de me replonger dans la théorie pour comprendre quel modèle pourrait être adapté. De mes souvenirs, la régression logistique multinomiale peut bien marcher dans le cas où on a K= 3;4 .. mais je ne suis pas sûre qu'avec K=9, elle soit adaptée mais j'avoue que je ne sais plus trop comment ça fonctionne : est-ce qu'il s'agit bien de faire K régressions logistiques "binaires" avec à chaque fois Y=K vs toutes les autres classes (ce qu'on appelle One vs All)? Ou bien suis-je à côte de la plaque ? Very Happy

Si quelqu'un pouvait éclairer ma lanterne là-dessus, ça m'aiderait grandement..

D'autre part, quelles autres méthodes pourraient convenir à mon problème ?

Merci par avance

lozeba

Nombre de messages : 6
Date d'inscription : 14/06/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par jeremyJ le Mer 25 Mar 2015 - 9:02

Bonjour,

Je ne connais pas bien les regressions logistiques multinomiales, mais à première vue je dirais plutôt qu'une methode de data mining conviendrait mieux (?).

Ici ce serait une méthode supervisée car on connait le nombre de classe à priori. Je pencherai pour une méthode de classification telle que K plus proche voisins, les arbres de décisions et le classifieur naif de Bayes, ce sont ceux que je connais.. peut etre il y en existe d'autre, une petite recherche sur internet et je suis tombé sur ceci qui pourra vous donner une idée..

jeremyJ

Nombre de messages : 59
Date d'inscription : 09/09/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par Qualitative le Mer 25 Mar 2015 - 9:36

Hello,

Je pense qu'une méthode du style "One-vs-all" s'appliquerait bien à ton cas non?

Cdlt,

Qualitative

Qualitative

Nombre de messages : 25
Date d'inscription : 20/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par niaboc le Mer 25 Mar 2015 - 10:05

Bonjour,

une régression logistique multinomiale peut-être envisageable. Mais ça veut dire qu'il te faut également beaucoup de données, car 9 classes c'est beaucoup.

Ce n'est pas la même chose que 9 régressions logistiques, puisque'ici la somme des proba de chacune de tes classes va sommer à 1... ce qui ne sera pas le cas de tes 8 régressions logistiques.

Il faut voir si ta régression logistique est ordinale ou non également, car la méthode peut être un peu différente (reg log ordinale à odd-ratio cumulatifs par exemple).

Tu pourras trouver beaucoup de documents très bien écrits sur internet concernant les régressions logistique multinomiales.

Un arbre de décision avec 9 classes ça fait peut-être beaucoup également... a voir si ça ne donne pas un truc d'un peu trop "brouillon".

Sinon je pense que l'analyse discriminante bayésienne peut-être également une bonne méthode dans ton cas.

Niaboc

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par lozeba le Mer 25 Mar 2015 - 10:50

Bonjour,

Merci à tous pour vos réponses.

Non, dans mon cas, les classes ne sont pas ordonnées.
Si je fais 9 régressions logistiques (One vs all), comment je compare les résultats obtenus par chaque ?  Je vais obtenir une probabilité pour chaque individu et pour chaque modèle mais derrière, est-ce que j'ai le droit de comparer les probabilités ? Sachant qu'elles ne viennent pas du même modèle ?

En gros, si j'ai

Individu proba A proba B proba C
AAAAA 0,2 0,15 0,3

est-ce que je peux dire que AAAAA appartient à la classe C ? Je n'en suis pas sûre..


Je vais aussi regarder l'analyse discriminante (j'ai oublié ce que c'était Very Happy )

Merci encore !

lozeba

Nombre de messages : 6
Date d'inscription : 14/06/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par Qualitative le Mer 25 Mar 2015 - 11:12

Hello,

Oui tu prends la classe k qui maximise ta probabilité d'être dans cette classe k sachant tes inputs. Pourquoi tu n'aurais pas le droit de le faire?
Dans ton exemple oui AAAAA a plus de chance d'appartenir à la classe C.

Sinon comme le dit niaboc il y a beaucoup de docs sur les reg.log. multinomiale.

Bon courage Smile

Qualitative

Qualitative

Nombre de messages : 25
Date d'inscription : 20/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par niaboc le Mer 25 Mar 2015 - 11:58

Je ne pense pas que tu aies le droit

Tu sais juste que AAAAA a plus de chance d'appartenir à la classe AAAAA qu'au reste, mais pas que AAAAA a plus de chance d'appartenir à la classe A qu'à la classe C...

Niaboc

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par lozeba le Mer 25 Mar 2015 - 12:59

Dans le MOOC Machine Learning de Standford sur coursera, il y a une partie sur le One vs all et il est dit, comme le dit Qualitative, qu'il suffit ensuite de choisir la classe qui maximise la proba.

Néanmoins, je reste sceptique. J'avais déjà eu ce type de réflexion il y a 2 ans :

http://statistiques.forumpro.fr/t4388-comparaison-de-scores

Je voulais comparer les résultats de 2 régressions logistiques qui calculaient un score d'appétence pour 2 produits différents. Je voulais trouver pour chaque individu quel était le produit auquel il était le plus appétent.

Voilà, je n'avais pas réussi à aboutir à l'époque. Je vais sans doute me tourner vers une autre méthode mais ça m'embête de ne pas avoir les idées claires sur cette méthode..


lozeba

Nombre de messages : 6
Date d'inscription : 14/06/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par niaboc le Mer 25 Mar 2015 - 13:06

va voir ici, il y a un petit paragraphe qui dit que c'est pas terrible comme méthode

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par Qualitative le Mer 25 Mar 2015 - 13:24

Bien entendu que ce n'est pas terrible. Tu n'as pas un modèle qui te prédit la classe mais K modèles qui te prédisent est-ce que l'individu appartient ou non à la classe k.

Ceci étant dans la pratique ce que tu veux c'est maximiser la probabilité d'appartenir à une classe sachant un ensemble de variables. Pour les inconvénients ça semble bien expliquer dans le livre que Niaboc cite.
D'ailleurs est-ce que quelqu'un a déjà lu/parcouru ce livre? Est-il conseillé?

Cdlt,

Quali.

Qualitative

Nombre de messages : 25
Date d'inscription : 20/12/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Modèle prédictif à K classes

Message par Contenu sponsorisé Aujourd'hui à 20:23


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum