Comparaison de scores

Bonjour,

J'ai calculé, à l'aide de proc logistic sous SAS, 2 scores d'appétence pour une même population d'individus.
Les modèles utilisés dans la régression logistique ne sont pas les mêmes.

Pour un individu, j'ai donc une proba pour le produit 1 et une proba pour le produit 2.

Est-ce que ces scores sont directement comparables?
Est-ce que je peux dire que si la proba 1 est supérieure à la proba 2 alors l'individu est plus appétant au produit 1? Sachant que ces scores ne reposent pas sur les mêmes modèles ?

Merci d'avance !

Bonjour, 

Je ne suis pas expert en reg.log mais ceci dit : 

lozeba a écrit: Est-ce que je peux dire que si la proba 1 est supérieure à la proba 2 alors l'individu est plus appétant au produit 1? Sachant que ces scores ne reposent pas sur les mêmes modèles ?

Comparer alors que ce ne sont pas les mêmes modèles ça parait compliqué! 

Après je ne sais pas quel est ton but mais si c'est juste comparer l'appétence d'un individu vis à vis de plusieurs produits, je pense que tu dois prendre le modèle qui s'ajuste le mieux et voir le score obtenu pour chaque produit à partir de ce modèle. 

En espérant avoir aidé, 

Cdlt, 

Gu.

Ok merci de ta réponse. Ca confirme ce que je pensais.
On m'a aussi parlé de centrage-réduction. En gros, si je prends les différentes valeurs obtenues pour chaque individus et que je centre et réduit pour chaque produit, les valeurs obtenues seraient comparables.

Je ne suis pas trop sûre de voir comment cela fonctionnerait.
Qu'en pensez-vous ?

Hello, 

Alors pour le centrage-réduction perso je le fais la plupart du temps, mais pareil je suis pas un expert. 
J'ai l'impression que du coup ça enlève la dépendance dans l'unité de mesure (si tu as des %, des kgs, des m, etc.) et que ça ramène tout à une unité de mesure en "écart type". 

Après avoir pour l'interprétation ...

Bon courage! 

Gu.

lozeba a écrit:Pour un individu, j'ai donc une proba pour le produit 1 et une proba pour le produit 2.

Est-ce que ces scores sont directement comparables?
Est-ce que je peux dire que si la proba 1 est supérieure à la proba 2 alors l'individu est plus appétant au produit 1? Sachant que ces scores ne reposent pas sur les mêmes modèles ?

Salut, 
comparer deux scores est risqué, car effectivement le modèle est différent et la distribution des scores peut être très différentes entre deux type de modèles, par exemple un naïve bayes donne des scores très proche de 0 ou très proche de 1 et pas grand chose entre les deux.
donc même en ramenant tout les scores à la même échelle l’interprétation de la valeur brut du score est différente.

Dans tout les cas un score ne s’interprète pas en terme de probabilité, c'est une grosse erreure.
par contre comme son nom l'indique il permet de faire un classement.

exemple pour un individu
produit A :
score  = 0.7
classement = 50 éme

produit B :
score = 0.6
classement = 20 éme

sur le produit B le score est moins élevé mais c'est le 20 éme score le plus élevé  on serait donc tenter de dire qu'il a une meilleur appétence sur le produit B.

Mais cela reste une nouvelle fois très relatif, car si le taux de positif parmi ces X% de score est complètement différent (le produit A à un taux d'achat de 90% et le produit B de 3%), la "proba" d'acheter le produit A sera forcement plus élevé même avec un score tout pourri.
Donc il faudrait que les produits soit relativement similaire pour qu'une comparaison objective soit possible. (ça peut surement se voir avec une courbe roc)

Peut être que ça vaut le coup de s’intéresser a un modèle Multi classe au lieu de faire plusieurs modèles.

En tout cas si tu avance dans tes réflexion ça m’intéresse.
A+

Bonjour,

Je relance ce sujet.

Si je centre et réduis les scores des deux produits, j'obtiens alors deux distributions suivant une loi normale (0,1), et que je regarde les probabilités associées (par exemple, 1,64=0.95), est-ce que ces probabilités ont un sens ?

Et si je multiplie ces probabilités par le taux d'achat du produit associé, est-ce que les valeurs obtenues seraient comparables cette fois ?

Merci de votre aide