Kappa de Cohen - résultat proche de zéro

Bonjour,

Je débute dans les stats et j'ai un soucis sur le calcul du Kappa pour un accord inter-annotateur. Les annotateurs doivent donner une note de 1 à 3.

Voici la matrice de confusion des notes:



Mon Kappa est négatif alors que les annotateurs sont d'accord dans 7 cas sur 9, on devrait donc avoir un résultat autour de 0.8. Comment est-ce possible ?

Merci pour votre aide

Bonjour,

ça vient du fait que justement ils répondent tous la même chose. Ca peut paraître étrange comme raisonnement mais le Kappa mesure la différence entre les proportions observées d'accords entre les annotateurs (la diagonale de la matrice) et les proportions théoriques obtenues par chance. Ici tu as 8 annotateurs de city96a2 qui ont notés 3 et tu en as 8 aussi de Core5A1se qui ont notés 8 soit une probabilité théorique que les annotateurs notent tout deux 3 de : (8/9)*(8/9) = 0.79. Ici on observe 7 annotateurs sur 9 qui ont donnés 3 tout les deux donc une proportion observée d'accords qui est de 7/9 = 0.7777778 soit moins que ce qu'on pourrait attendre si les notations étaient indépendantes. Il est donc logique d'un point de vue numérique que ton Kappa soit < 0. Ici cette valeur tient au fait que tu as très peu d'effectifs (9) et des distributions marginales qui sont clairement déséquilibrées (quasiment que des 3 et très très peu de 1 ou de 2).

Cordialement

Bonjour

Merci beaucoup pour ton message.

En réalité ils ont 21 annotations et sur 21 tout fonctionne bien. Mais je voulais voir sur les notes extrêmes de 3 s'ils étaient d'accord. c-a-d je voulais vérifier que si un annotateur donne une note de 3 le second est d'accord ou non avec cette note.

Le Kappa n'est donc pas la mesure idéale ds ce cas de figure ?

Bonjour Chabarlotte.

Pour des séries aussi peu nombreuses que celle que tu proposes, les résultats bruts sont bien plus éclairants qu'un coefficient global toujours délicat à interpréter : Dans les 9 cas où la note 3 a été attribuée, il n'y a que deux cas où il n'y a pas coïncidence, et un seul où il y a vraiment opposition.
Tu peux le formuler autrement, mais à priori, comme il sera difficile de généraliser, parler de ce qui s'est passé dans ce cas particulier ne pose pas de problème.

Cordialement.

OK je vous remercie pour votre aide précieuse

En complément et pour reprendre ce qu'a dit gg, le Kappa n'est pas fait pour regarder dans le détail ce qui se passe mais l'adéquation globale entre tes annotations. Donc si tu ne t'intéresses qu'au cas 3 le Kappa n'est pas fait pour ça.
Cordialement