ajustement tests multiples ou pas ?

Bonjour à tous

J'ai une question qui va sans doute paraître très naïve (toutes mes excuses par avance !)

Je fais plusieurs tests de wilcoxon pairés sur plusieurs jeux de données. Chaque test a pour but de comparer les valeurs d'une variable donnée dans deux conditions différentes pour N individus.
J'ai 10 variables dont j'ai des mesures pour les N individus dans les deux conditions. J’obtiens donc 10 p-values pour chacune des variables me disant si en moyenne, j'ai une différence pour chaque variable entre mes deux conditions. Chacun de mes 10 tests est significatif à 5%.

On m'a dit qu'il fallait sans doute que je fasse une correction pour les tests multiples. Mais je ne suis pas convaincue que je doive faire ça. Ce n'est pas comme si j'avais fait 10 mesures de la même variable pour mes N individus dans les deux conditions qui pour moi serait la configuration pour faire une correction.

Pourriez vous éclairer ma lanterne ? Merci d'avance !

Bonjour,

certains ici s'y connaissent pas mal à ce sujet et vont surement te répondre aussi.

J'aurai, a priori, pensé à une correction aussi. Car plus tu augmentes le nombre de variables à tester entre tes deux conditions et plus tu vas augmenter le risque d'avoir au moins un test de significatif à tort... Mais n'étant pas certain de  cette réponse je vais également attendre les réponses des autres :-).

Niaboc

Non, pas de correction à faire je pense. On est ici dans un cas multivarié et les différents tests concernent effectivement des variables différentes. Le problème de la procédure adoptée est qu'elle traite chaque variable séparément, ce qui est peu efficace puisqu'on perd les informations de corrélation entre les variables.

La vraie question ici est pourquoi partir sur du non-paramétrique ? Les variables mesurées ne peuvent-elles pas être considérées comme gaussienne ? La raison pour laquelle je pose la question est que, si on était en paramétrique, on pourrait calculer et tester un T2 de Hoteling, qui est une généralisation multivariée d'un t-test (au besoin, ici, sur données appariées). Je ne connais pas d'équivalent multivarié d'un test des rangs signés de Wilcoxon, je ne crois pas que ça existe.

HTH, Eric.

Merci pour vos réponses. Donc je pars sur le principe que l'ajustement n'est pas nécessaire ?

Je suis bien d'accord que ce serait bien de pouvoir prendre en compte toutes les variables ensembles mais malheureusement je n'ai pas trouvé comment. Mes données ne sont pas gaussiennes c'est pour ça que je fais du non paramétrique.

Et n'y a t'il pas moyen de les transformer pour les rendre gaussienne ? Ce n'est pas les transformations qui manquent..

Eric.

très sincèrement, je ne sais pas du tout. Je vais creuser de ce coté là, c'est une bonne idée ! Merci en tout cas!

Bonjour,

Le fait de proposer une correction de la p-value dans ce cas n'est pas une erreur quoiqu'il en soit du choix final. Il s'agit d'une extension à plusieurs variables du cas classique où par exemple on compare plusieurs groupes 2 à 2. Certains pensent qu'il est tout aussi légitime de supposer qu'en utilisant de façon répétée la même distribution statistique, il est possible que, par hasard, un test basée sur cette loi apparaisse comme significatif.

Chacun en pensera ce qu'il veut...


Quant aux transformations pour coller au modèle gaussien, c'est effectivement pratique d'un point de vue stat mais gare aux dégâts sur les interprétations. J'ai vu beaucoup de papiers conclure quelque chose qui est fianlement inhérent aux transformations successives des données.

Nik

Bonjour,

Je n'ai pas compris en quoi le fait de normaliser les variables va corriger le problème de multiplicité des tests ?

zezima a écrit:Bonjour,

Je n'ai pas compris en quoi le fait de normaliser les variables va corriger le problème de multiplicité des tests ?

Bonjour,

en rien mais ça permettrait par exemple de faire une MANOVA.

Les problèmes de corrections des p-values sont assez vastes et parfois plus philosophique qu'autre chose. La première question à se poser est, est-ce que tes hypothèses forment une "famille d'hypothèse" ? Certains auront tendance à te dire que oui puisqu'à chaque fois tu cherches à savoir si la différence entre tes deux conditions est significative. La variable indépendante est donc toujours la même. Donc ça forme une famille d'hypothèse et donc il faut corriger. Après il y a pas mal de façon de corriger différente qui correspondent à plusieurs façons de prendre en compte le risque de première espèce. Par exemple les family wise error rate dont fait partie la correction de Bonferroni, tu as aussi les corrections de type false discovery rate.
Je te laisse jeter un oeil à ces références :
http://www.gs.washington.edu/academics/courses/akey/56008/lecture/lecture10.pdf
Shaeffer 1995

Cordialement

Pour compléter la réponse de droopy, il n'y a pas ici - je pense - de "multiplicité des tests" dans le sens ou les tests sont à chaque fois sur des variables différentes, et restent donc indépendants. La normalité des variables permettra de partir sur des procédures inférentielles multivariées, ce qui est difficile - sinon impossible - en non-paramétrique.

Eric.

Eric Wajnberg a écrit:Pour compléter la réponse de droopy, il n'y a pas ici - je pense - de "multiplicité des tests" dans le sens ou les tests sont à chaque fois sur des variables différentes, et restent donc indépendants. La normalité des variables permettra de partir sur des procédures inférentielles multivariées, ce qui est difficile - sinon impossible - en non-paramétrique.

Eric.

Les variables sont différentes, mais testées sur les mêmes deux groupes de personnes... il peut y avoir donc une multiplicité du critère de jugement?
http://www.spc.univ-lyon1.fr/polycop/Critere%20de%20jugement%20principal.htm


Cet article intéressant parle de ce sujet aussi :

http://toutsepassecommesi.cafe-sciences.org/2015/08/26/introduction-au-bricolage-de-significativite-des-tests-statistiques/

et il site notamment ce lien :

http://projects.fivethirtyeight.com/p-hacking/index.html?initialWidth=1024&childId=phacking

Niaboc

niaboc a écrit:Les variables sont différentes, mais testés sur les mêmes deux groupes de personnes... il peut y avoir donc une multiplicité du critère de jugement?

Pour moi c'est clairement oui. Dans un cas relativement similaire à celui posé ici, on m'a explicitement demandé dans un article de prendre en compte la multilplicité des tests en considérant que même si les variables étaient différentes, on testait toujours par rapport à la même variable indépendante, au même critère et que donc ça revenait à considérer plusieurs fois la même hypothèse : égalité entre les groupes ou au moins un groupe différent des autres.

Après cette notion de "famille d'hypothèse" peut-être sujette à débat.

Cordialement

Très intéressant, merci.

Il n'y a pas de définition claire de la variable principale d’intérêt et des variables secondaires => a mon avis on est clairement dans le cadre de la réalisation de plusieurs tests statistiques simultanés cherchant à répondre à l'efficacité du traitement, et donc de la hausse de alpha liée aux comparaisons multiples.

http://www.spc.univ-lyon1.fr/polycop/comparaisons%20multiples.htm