Les posteurs les plus actifs de la semaine
Pchalix
 
victornitho
 
joyeux_lapin13
 
zezima
 
c@ssoulet
 


ajustement tests multiples ou pas ?

Voir le sujet précédent Voir le sujet suivant Aller en bas

ajustement tests multiples ou pas ?

Message par manue69 le 25/02/16, 08:43 am

Bonjour à tous

J'ai une question qui va sans doute paraître très naïve (toutes mes excuses par avance !)

Je fais plusieurs tests de wilcoxon pairés sur plusieurs jeux de données. Chaque test a pour but de comparer les valeurs d'une variable donnée dans deux conditions différentes pour N individus.
J'ai 10 variables dont j'ai des mesures pour les N individus dans les deux conditions. J’obtiens donc 10 p-values pour chacune des variables me disant si en moyenne, j'ai une différence pour chaque variable entre mes deux conditions. Chacun de mes 10 tests est significatif à 5%.

On m'a dit qu'il fallait sans doute que je fasse une correction pour les tests multiples. Mais je ne suis pas convaincue que je doive faire ça. Ce n'est pas comme si j'avais fait 10 mesures de la même variable pour mes N individus dans les deux conditions qui pour moi serait la configuration pour faire une correction.

Pourriez vous éclairer ma lanterne ? Merci d'avance !



manue69

Nombre de messages : 3
Date d'inscription : 25/02/2016

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par niaboc le 25/02/16, 08:57 am

Bonjour,

certains ici s'y connaissent pas mal à ce sujet et vont surement te répondre aussi.

J'aurai, a priori, pensé à une correction aussi. Car plus tu augmentes le nombre de variables à tester entre tes deux conditions et plus tu vas augmenter le risque d'avoir au moins un test de significatif à tort... Mais n'étant pas certain de  cette réponse je vais également attendre les réponses des autres :-).

Niaboc

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par Eric Wajnberg le 25/02/16, 09:57 am

Non, pas de correction à faire je pense. On est ici dans un cas multivarié et les différents tests concernent effectivement des variables différentes. Le problème de la procédure adoptée est qu'elle traite chaque variable séparément, ce qui est peu efficace puisqu'on perd les informations de corrélation entre les variables.

La vraie question ici est pourquoi partir sur du non-paramétrique ? Les variables mesurées ne peuvent-elles pas être considérées comme gaussienne ? La raison pour laquelle je pose la question est que, si on était en paramétrique, on pourrait calculer et tester un T2 de Hoteling, qui est une généralisation multivariée d'un t-test (au besoin, ici, sur données appariées). Je ne connais pas d'équivalent multivarié d'un test des rangs signés de Wilcoxon, je ne crois pas que ça existe.

HTH, Eric.

Eric Wajnberg

Nombre de messages : 305
Date d'inscription : 14/09/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par manue69 le 25/02/16, 11:53 pm

Merci pour vos réponses. Donc je pars sur le principe que l'ajustement n'est pas nécessaire ?

Je suis bien d'accord que ce serait bien de pouvoir prendre en compte toutes les variables ensembles mais malheureusement je n'ai pas trouvé comment. Mes données ne sont pas gaussiennes c'est pour ça que je fais du non paramétrique.

manue69

Nombre de messages : 3
Date d'inscription : 25/02/2016

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par Eric Wajnberg le 26/02/16, 12:03 am

Et n'y a t'il pas moyen de les transformer pour les rendre gaussienne ? Ce n'est pas les transformations qui manquent..

Eric.

Eric Wajnberg

Nombre de messages : 305
Date d'inscription : 14/09/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par manue69 le 26/02/16, 12:08 am

très sincèrement, je ne sais pas du tout. Je vais creuser de ce coté là, c'est une bonne idée ! Merci en tout cas!

manue69

Nombre de messages : 3
Date d'inscription : 25/02/2016

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par Nik le 26/02/16, 12:21 am

Bonjour,

Le fait de proposer une correction de la p-value dans ce cas n'est pas une erreur quoiqu'il en soit du choix final. Il s'agit d'une extension à plusieurs variables du cas classique où par exemple on compare plusieurs groupes 2 à 2. Certains pensent qu'il est tout aussi légitime de supposer qu'en utilisant de façon répétée la même distribution statistique, il est possible que, par hasard, un test basée sur cette loi apparaisse comme significatif.

Chacun en pensera ce qu'il veut... Smile


Quant aux transformations pour coller au modèle gaussien, c'est effectivement pratique d'un point de vue stat mais gare aux dégâts sur les interprétations. J'ai vu beaucoup de papiers conclure quelque chose qui est fianlement inhérent aux transformations successives des données.

Nik

Nik

Nombre de messages : 1500
Date d'inscription : 23/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par zezima le 26/02/16, 01:14 am

Bonjour,

Je n'ai pas compris en quoi le fait de normaliser les variables va corriger le problème de multiplicité des tests ?

zezima

Nombre de messages : 494
Date d'inscription : 26/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par droopy le 26/02/16, 02:01 am

zezima a écrit:Bonjour,

Je n'ai pas compris en quoi le fait de normaliser les variables va corriger le problème de multiplicité des tests ?
Bonjour,

en rien mais ça permettrait par exemple de faire une MANOVA.

Les problèmes de corrections des p-values sont assez vastes et parfois plus philosophique qu'autre chose. La première question à se poser est, est-ce que tes hypothèses forment une "famille d'hypothèse" ? Certains auront tendance à te dire que oui puisqu'à chaque fois tu cherches à savoir si la différence entre tes deux conditions est significative. La variable indépendante est donc toujours la même. Donc ça forme une famille d'hypothèse et donc il faut corriger. Après il y a pas mal de façon de corriger différente qui correspondent à plusieurs façons de prendre en compte le risque de première espèce. Par exemple les family wise error rate dont fait partie la correction de Bonferroni, tu as aussi les corrections de type false discovery rate.
Je te laisse jeter un oeil à ces références :
http://www.gs.washington.edu/academics/courses/akey/56008/lecture/lecture10.pdf
Shaeffer 1995

Cordialement

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par Eric Wajnberg le 26/02/16, 02:38 am

Pour compléter la réponse de droopy, il n'y a pas ici - je pense - de "multiplicité des tests" dans le sens ou les tests sont à chaque fois sur des variables différentes, et restent donc indépendants. La normalité des variables permettra de partir sur des procédures inférentielles multivariées, ce qui est difficile - sinon impossible - en non-paramétrique.

Eric.

Eric Wajnberg

Nombre de messages : 305
Date d'inscription : 14/09/2012

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par niaboc le 26/02/16, 03:32 am

Eric Wajnberg a écrit:Pour compléter la réponse de droopy, il n'y a pas ici - je pense - de "multiplicité des tests" dans le sens ou les tests sont à chaque fois sur des variables différentes, et restent donc indépendants. La normalité des variables permettra de partir sur des procédures inférentielles multivariées, ce qui est difficile - sinon impossible - en non-paramétrique.

Eric.

Les variables sont différentes, mais testées sur les mêmes deux groupes de personnes... il peut y avoir donc une multiplicité du critère de jugement?
http://www.spc.univ-lyon1.fr/polycop/Critere%20de%20jugement%20principal.htm


Cet article intéressant parle de ce sujet aussi :

http://toutsepassecommesi.cafe-sciences.org/2015/08/26/introduction-au-bricolage-de-significativite-des-tests-statistiques/

et il site notamment ce lien :

http://projects.fivethirtyeight.com/p-hacking/index.html?initialWidth=1024&childId=phacking

Niaboc

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par droopy le 26/02/16, 03:47 am

niaboc a écrit:Les variables sont différentes, mais testés sur les mêmes deux groupes de personnes... il peut y avoir donc une multiplicité du critère de jugement?
Pour moi c'est clairement oui. Dans un cas relativement similaire à celui posé ici, on m'a explicitement demandé dans un article de prendre en compte la multilplicité des tests en considérant que même si les variables étaient différentes, on testait toujours par rapport à la même variable indépendante, au même critère et que donc ça revenait à considérer plusieurs fois la même hypothèse : égalité entre les groupes ou au moins un groupe différent des autres.

Après cette notion de "famille d'hypothèse" peut-être sujette à débat.

Cordialement


Dernière édition par droopy le 26/02/16, 07:25 am, édité 1 fois

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par zezima le 26/02/16, 07:00 am

Très intéressant, merci.

zezima

Nombre de messages : 494
Date d'inscription : 26/02/2013

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par c@ssoulet le 29/02/16, 01:56 am

Il n'y a pas de définition claire de la variable principale d’intérêt et des variables secondaires => a mon avis on est clairement dans le cadre de la réalisation de plusieurs tests statistiques simultanés cherchant à répondre à l'efficacité du traitement, et donc de la hausse de alpha liée aux comparaisons multiples.

http://www.spc.univ-lyon1.fr/polycop/comparaisons%20multiples.htm

c@ssoulet

Nombre de messages : 647
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: ajustement tests multiples ou pas ?

Message par Contenu sponsorisé Aujourd'hui à 01:07 am


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum