Les posteurs les plus actifs de la semaine
Pchalix
 
victornitho
 
joyeux_lapin13
 
zezima
 
c@ssoulet
 


Kappa de Cohen - résultat proche de zéro

Voir le sujet précédent Voir le sujet suivant Aller en bas

Kappa de Cohen - résultat proche de zéro

Message par Chabarlotte le Mer 26 Nov 2014 - 16:28

Bonjour,

Je débute dans les stats et j'ai un soucis sur le calcul du Kappa pour un accord inter-annotateur. Les annotateurs doivent donner une note de 1 à 3.

Voici la matrice de confusion des notes:



Mon Kappa est négatif alors que les annotateurs sont d'accord dans 7 cas sur 9, on devrait donc avoir un résultat autour de 0.8. Comment est-ce possible ?

Merci pour votre aide Very Happy

Chabarlotte

Nombre de messages : 3
Date d'inscription : 26/11/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par droopy le Mer 26 Nov 2014 - 22:05

Bonjour,

ça vient du fait que justement ils répondent tous la même chose. Ca peut paraître étrange comme raisonnement mais le Kappa mesure la différence entre les proportions observées d'accords entre les annotateurs (la diagonale de la matrice) et les proportions théoriques obtenues par chance. Ici tu as 8 annotateurs de city96a2 qui ont notés 3 et tu en as 8 aussi de Core5A1se qui ont notés 8 soit une probabilité théorique que les annotateurs notent tout deux 3 de : (8/9)*(8/9) = 0.79. Ici on observe 7 annotateurs sur 9 qui ont donnés 3 tout les deux donc une proportion observée d'accords qui est de 7/9 = 0.7777778 soit moins que ce qu'on pourrait attendre si les notations étaient indépendantes. Il est donc logique d'un point de vue numérique que ton Kappa soit < 0. Ici cette valeur tient au fait que tu as très peu d'effectifs (9) et des distributions marginales qui sont clairement déséquilibrées (quasiment que des 3 et très très peu de 1 ou de 2).

Cordialement

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par Chabarlotte le Jeu 27 Nov 2014 - 8:49

Bonjour

Merci beaucoup pour ton message.

En réalité ils ont 21 annotations et sur 21 tout fonctionne bien. Mais je voulais voir sur les notes extrêmes de 3 s'ils étaient d'accord. c-a-d je voulais vérifier que si un annotateur donne une note de 3 le second est d'accord ou non avec cette note.

Le Kappa n'est donc pas la mesure idéale ds ce cas de figure ?

Chabarlotte

Nombre de messages : 3
Date d'inscription : 26/11/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par gg le Jeu 27 Nov 2014 - 9:39

Bonjour Chabarlotte.

Pour des séries aussi peu nombreuses que celle que tu proposes, les résultats bruts sont bien plus éclairants qu'un coefficient global toujours délicat à interpréter : Dans les 9 cas où la note 3 a été attribuée, il n'y a que deux cas où il n'y a pas coïncidence, et un seul où il y a vraiment opposition.
Tu peux le formuler autrement, mais à priori, comme il sera difficile de généraliser, parler de ce qui s'est passé dans ce cas particulier ne pose pas de problème.

Cordialement.

gg

Nombre de messages : 1775
Date d'inscription : 10/01/2011

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par Chabarlotte le Jeu 27 Nov 2014 - 9:51

OK je vous remercie pour votre aide précieuse Very Happy

Chabarlotte

Nombre de messages : 3
Date d'inscription : 26/11/2014

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par droopy le Jeu 27 Nov 2014 - 9:55

En complément et pour reprendre ce qu'a dit gg, le Kappa n'est pas fait pour regarder dans le détail ce qui se passe mais l'adéquation globale entre tes annotations. Donc si tu ne t'intéresses qu'au cas 3 le Kappa n'est pas fait pour ça.
Cordialement

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: Kappa de Cohen - résultat proche de zéro

Message par Contenu sponsorisé Aujourd'hui à 8:11


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum