Kruskal-Wallis par paire ou Mann-Whitney

Bonjour,

J'ai chercher un peu sur le forum, mais je ne trouve pas ma réponse (ou alors je suis trop bouchée pour la comprendre...).
J'ai besoin de comparer la distribution de 4 groupes (indépendants) deux à deux.
Au début, j'ai fait un test de Kruskal-Wallis avec SPSS, et quand le résultat indique "rejeter l'hypothèse nulle", je lui demande les comparaisons par paire pour savoir quelle(s) paire(s) provoque la significativité.

Jusque là tout va bien (non ?)

Sauf que : j'ai eu besoin de connaitre précisément le p-value entre deux des groupes (pour bien montrer qu'ils étaient "pareils"). Comme Kruskal-Wallis ne donne accès aux comparaisons par paire que quand le test global permet de rejeter l'hypothèse nulle, j'ai utilisé un test de Mann-Whitney pour échantillons indépendant pour comparer juste les deux groupes en question. Le test de Mann-Whitney m'a renvoyé un p = .014. La différence entre mes deux groupes est donc significative (si on place la barre de significativité à .05, comme c'est mon cas) ?

Du coup, je ne sais pas à quel test faire confiance. J'ai refait TOUS mes tests (peu importe le résultat du Kruskal-Wallis, une centaine en tout) avec Mann-Whitney pour voir si ça arrivait d'autres fois. En général, les p-value donné par le Mann-Whitney sont plus bas que ceux donnés par le Kruskal-Wallis et parfois, M-W indique une différence significative tandis que K-W non.
À quel test vaut-il mieux me fier, et pourquoi (je ne suis pas une pro, mais je vais devoir justifier mon choix devant un jury au final) ?
Merci.

Petit up ^^

Vu qu'il n'y a pas de réponse (mais c'était le week end), j'en profite pour demander si j'ai dit (écrit) quelque chose d'inapproprié ? De malpoli ?
Est-ce que j'ai posé ma question au bon endroit ou est-ce que je devrais la poser dans la rubrique concernant SPSS ? Je n'ai qu'un seul logiciel de stats sur mon ordinateur donc je ne peux pas savoir si le désaccord entre les deux tests vient du logiciel (ça m'étonnerait quand même, pour ce genre de test les algorithmes implémentés ne doivent pas varier d'un test à l'autre).

En tout cas, merci à la dizaine de personne qui à lu ma question, et un grand merci d'avance à celui ou celle qui me donnera une tentative d'explication à ce phénomène.

Salut,

Du fait que les test de KW et Mann et Whitney soient bases sur les rangs et non sur des statistiques resumees (comme la moyenne pour les tests parametriques), c'est normal de ne pas avoir toujours de consistence dans les resultats. D'autre part, du fait de la multiplicite des tests, lorsque l'on fait un test global puis des comparaisons par paires, on doit toujours ajuster le seuil de significativite, avec des methodes de type LSD (ou Bonferroni) par exemple.
Cependant, un principe fondamental en stats et que lorsqu'un test global est non significatif, on ne fait pas de comparaisons par paires. Donc en conclusion, le choix de ton test doit etre guide par la problematique. Est-ce que ton hypothese principal est une difference globale entre tes groupes ou plutot une difference entre deux groupes particuliers? Dans le premier cas, KW est le plus approprie, dans le second, Mann-Whitney est plus approprie.

Ayana

Merci pour ta réponse ! Mon hypothèse principale vise à comparer les groupes deux à deux puisque juste savoir qu'il y a une différence entre les 4 groupes ne m'avance à rien si je ne sais pas entre lesquels la différence se fait. J'en conclus que le Mann-whitney est plus approprié pour traiter mes données.
Encore merci !

Mais si tu fais plusieurs comparaisons 2 a 2, n'oublie pas d'appliquer une correction sur ton seuil de significacite (comme vu en cours ;-) )
Ayana

Dans mon cas c'est le "comme vu en cours" qui fait défaut. Je n'ai jamais eu un seul cours de statistiques...

Meme pas un seul seminaire sur R? ;-)

Rien du tout dans la formation obligatoire (Licence de sciences du langage, M1 de psycholinguistique à l'étranger, M2 "Cognition et neurosciences" et doctorat de psycholinguistique). Mon problème c'est qu'en licence de science du langage les étudiants sont très rarement destinés à faire de la recherche et qu'en M1, M2 (admission sur dossier à chaque fois, on considère que les stats ont été faites en licence...)
J'ai suivi un séminaire "statistiques avancées à destination des linguistes" pour R l'année dernière, lors d'un stage de recherche aux Pays Bas. Vu le niveau du cours, heureusement que je m'étais formée (un peu) avant.
L'école doctorale propose aussi des "cours" de stats, mais c'est du ultra basique : qu'est ce qu'une moyenne ? comment deux groupes très différents peuvent-ils avoir la même moyenne ? Qu'est ce qu'une médiane, un écart type ?...

Déjà, là je dis stop. "j'ai eu besoin de connaitre précisément le p-value entre deux des groupes (pour bien montrer qu'ils étaient "pareils")"

Ensuite il n'y a pas 30 façons d'appliquer la formule d'un test simple. Ton ordi ne fait pas du pif, le logiciel de stats non plus, donc si résultats différents ca vient d'ailleurs.

Ca vient du fait que, pour répondre à une question pas très clairement formulée et à cause d'un manque de connaissances en stats, tu appliques 2 tests te semblant à peu près correspondre à ton problème, mais qui en réalité répondent à 2 questions bien différentes, comme l'a dit Ayana.

Sans te froisser ni me moquer, ta question est intéressante car très typique d'un risque dont on ne parle que très rarement car il n'est pas quantifiable: le risque de 3° espèce.

Le risque de 3° espèce, c'est le risque d'appliquer un test qui ne correspond pas à la question posée.

Pour rester dans le registre du rigolo, voilà un exemple
Je me pose la question suivante: les garçons naissent ils dans des choux et les filles dans des roses ?
J'applique un test que je ne connais pas trop mais qui semble bon. En réalité, ce test va répondre à une question simple mais un tout petit peu différente dans sa formulation: les choux sont ils différents des roses ?
La réponse est OUI !
J'en conclus que j'ai statistiquement démontré que les garcons naissent dans les choux et les filles dans des roses...

Tu es en plein dedans...

J'ai une autre question, qui va surement sembler stupide. D'après ce que j'ai compris des corrections types Bonferroni, on les applique pour éviter de multiplier le risque de mettre en évidence une différence par hasard. Test 1 = 5% de risque d'erreur, Test 1 + Test 2 = 2 x 5% de risque de se tromper en affirmant qu'il existe une différence...
Si je prends mes données j'ai groupe 1, groupe 2, groupe 3 et groupe 4.
En comparant groupe 1 vs groupe 2 j'ai une hypothèse qui n'est pas la même que quand je compare groupe 1 et groupe 3. Dans ce cas, il me semble bizarre de corriger vu que de toute façon, ça n'a pas de sens d'additionner les résultats (et donc les risques d'erreur).
Je suis à coté de la plaque ou .... ?

c@ssoulet a écrit: Déjà, là je dis stop. "j'ai eu besoin de connaitre précisément le p-value entre deux des groupes (pour bien montrer qu'ils étaient "pareils")"

Ensuite il n'y a pas 30 façons d'appliquer la formule d'un test simple. Ton ordi ne fait pas du pif, le logiciel de stats non plus, donc si résultats différents ca vient d'ailleurs.

Ca vient du fait que, pour répondre à une question pas très clairement formulée et à cause d'un manque de connaissances en stats, tu appliques 2 tests te semblant à peu près correspondre à ton problème, mais qui en réalité répondent à 2 questions bien différentes, comme l'a dit Ayana.

Sans te froisser ni me moquer, ta question est intéressante car très typique d'un risque dont on ne parle que très rarement car il n'est pas quantifiable: le risque de 3° espèce.

Le risque de 3° espèce, c'est le risque d'appliquer un test qui ne correspond pas à la question posée.

Pour rester dans le registre du rigolo, voilà un exemple
Je me pose la question suivante: les garçons naissent ils dans des choux et les filles dans des roses ?
J'applique un test que je ne connais pas trop mais qui semble bon. En réalité, ce test va répondre à une question simple mais un tout petit peu différente dans sa formulation: les choux sont ils différents des roses ?
La réponse est OUI !
J'en conclus que j'ai statistiquement démontré que les garcons naissent dans les choux et les filles dans des roses...

Tu es en plein dedans...

Merci pour ta réponse Cassoulet.
Je sais que ma phrase, que tu cites, ne veut rien dire statistiquement et quel serait plus juste d'écrire que je voulais le p-value pour mettre en évidence (et écrire noir sur blanc) que statistiquement, on ne pouvait pas rejeter l'hypothèse selon laquelle les deux groupes seraient issus d'une même population. Peut-être que je n'aurais pas dû raccourcir.
Mon ordi ne fait pas du pif, j'en suis bien consciente. Je me suis doutée que la différence entre les résultats des deux tests venait d'une différence dans leur formule. Et comme Ayana me l'a mis sous le nez, ce qui m'intéresse ce sont les comparaisons 2 à 2, donc le test de Mann-Whitney. Comme je l'ai répondu à Ayana, je n'ai jamais suivi de cours de stats et j'avoue avoir du mal à comprendre plusieurs choses :
1) Du coup, à quoi ça sert un kruskal-Wallis dans la vraie vie ? Je n'arrive pas à m'imaginer une situation dans laquelle on se satisferait de savoir qu'il existe une différence entre 5 groupes, sans savoir entre lesquels... (mais je suis surement trop engluée dans mon propre protocole).
2) Même si j'ai compris ton exemple sur le risque de 3ème espèce, je ne comprends pas en quoi je suis dedans. ma question est claire : Parmi mes 4 groupes je veux savoir si : G1 diffère de G2, G1 diffère de G3, G1 diffère de G4, G2 diffère de G3... (avec pour chaque comparaison, une hypothèse différente). Pour un néophyte, les deux tests semblent répondre à la question (via les comparaisons par paire du KW) sauf que le KW me fait une table avec toutes les comparaisons et que pour les Mann-Whitney je les fait un par un...

Je vais essayer de faire une réponse simple en Français, sans maths.

- Un K-W, ca sert à répondre à la question: dans TOUTE MA POPULATION, au moins l'un des sous groupes est il significativement différent des autres ? Si la réponse est non (ca semble etre ton cas d'après ce que j'ai compris), tu as la réponse et ca n'a aucun sens de faire des comparaisons 2 à 2.

- Dans ton cas, le MW répond à une question différente: dans UNE SOUS-POPULATION, existe-t-il une différence entre 2 groupes ?

- De plus, à cause de la multiplicité des comparaisons (répétition des MW pour comparer tous les groupes 2 à 2), ton risque alpha (risque de conclusion erronée) augmente. Pour tenir compte de cette augmentation du risque de conclusion erronée due à la multiplicité des tests 2X2, il faut appliquer une correction (il en existe plusieurs) qui va avoir pour conséquence de baisser ton seuil de significativité. En clair, < 0.05 n'est plus vrai et il faudra par exemple avoir un p<0.01 pour pouvoir dire "c'est significatif"

En résumé:
- Si KW non significatif, on ne va pas plus loin.
- Si KW significatif, soit une différence évidente saute aux yeux et on ne se complique pas la vie: on la décrit, soit il faut faire des comparaisons multiples 2 à 2 corrigeant la hausse de alpha, et là ca sent le mal de tête parce qu'on peut utiliser des outils statistiques différents. Les mots clés google sont "kruskal wallis post hoc"

Meme si je te l'accorde, les cours de stats de l'ED sont ultra basiques, la question de la multiplicite des tests a ete abordee lors du cours sur l'ANOVA, ou, lorsque l'ANOVA permet de conclure a une difference d'au moins un des groupes par rapport aux autres, des comparaisons deux a deux peuvent etre effectuees (avec correction du seuil alpha).
Mais, comme dit plus haut et confirme par C@ssoulet, si KW est non significatif, on s'arrete la.

Ps: desolee pour l'absence d'accents, clavier qwerty oblige (et un peu trop feignante pour utiliser les codes ASCII)