multiplicité des tests

Bonjour,

j'ai du mal à cerner parfois à quel moment on est dans un cas de multiplicité de test ou non.

Exemple :
je teste un médicament sur une population.
1- je teste ensuite ce médicament sur les jeunes et sur les vieux (critères age à 2 modalités)
2- je teste ensuite ce médicament sur les hommes et sur les femmes (critères sexe à 2 modalités)

là on est clairement dans un cas de multiplicités de tests : on a deux fois les mêmes individus, on fait des sous-groupes différents et on re-teste si le médicament marche bien.
Nous avons deux critères différents, avec la correction de Bonferroni, on prendrait un alpha=0.05/2=0.025.
Je le vois un peu comme : on prend les mêmes individus et on les change d'ordre, on va forcément avoir un effet au bout d'un moment.

Par contre si je teste le même médicament sur l'âge, mais cette fois-ci avec :
1- test du médicament sur les juniors, les seniors et les vétérans (critère age à 3 modalités)
2- test du médicament sur les femmes et les hommes (sexe à 2 modalités)

La multiplicité des tests est-elle la même (à savoir 2 critères - âge et sexe). Ou le fait d'avoir déjà 3 modalités à la première variable rajoute de l'inflation sur le risque?

J'aurai tendance à dire que la multiplicité des tests est la même dans les deux cas. Le fait d'avoir 2 ou 3 modalités n'agît pas sur le problème de base qui est de tester un deuxième critère (sexe) à la suite du premier critère, avec les mêmes individus regroupés différemment.


Qu'en pensez-vous?

Niaboc

Salut,

Ce qui compte c'est le nombre de fois où tu fais le test. Donc dans tes 2 situations, tu ne fais que 2 tests. Donc pour moi c'est la même correction.

Je ne suis pas un expert dans ces questions et j'avoue que pour ma part je n'en aurais même pas tenu compte notamment parce que Bonferoni corrige le risque de manière beaucoup trop forte.

Nik

On fait un test chez les individus de chaque modalité, pour observer si le médicament fonctionne mieux chez tel ou tel individu. Donc ça fait un test de plus dans le deuxième cas, au niveau du critère âge.

Mais au niveau des 2 critères, on prend deux fois les mêmes individus étudiés dans des sous-groupes différents (là je comprends qu'il y ait une inflation du risque, on fait deux fois les mêmes tests), et une vision par modalité, où là, les individus sont différents entre les modalités (et là je ne sais pas si on peut dire s'il y a inflation du risque alpha)

Dans la vraie vie, tout se décide A PRIORI.

Il y a des règles très strictes à respecter lorsqu'on écrit un protocole de recherche clinique. Parmi ces règles, l'une des plus importantes est que la méthodologie de l'essai ET l'analyse statistique doivent être définis à priori, dès l'écriture du protocole et donc bien longtemps avant l'inclusion du premier patient.

C'est un critère de qualité extremement important, qui vise à s'assurer que les hypothèses ont bien été émises AVANT de les tester. En pratique, il est même de plus en plus fréquent de publier la méthodologie de l'étude avant de l'avoir débutée (il y a des journaux spécialisés là dedans). Les protocoles sont déposés auprès de sites accessibles aux professionnels (EMA en europe) et au public (Clinicaltrials.org), avec l'historique de leurs différentes révisions si il y en a eu afin que tout un chacun (et en particulier les reviewers) puissent s'assurer que tout ce qui suit (plus pas mal d'autres choses) a été respecté à la lettre.

Lorsqu'on construit un essai, on fixe UN critère PRINCIPAL d'évaluation. Un et un seul. Toute la méthodo sera définie pour répondre parfaitement au CPE, et a lui seul. C'est généralement un critère très large (l'effet du medicament expérimental est il superieur au trait de référence), testé sur toute la population de l'essai, en intention de traiter.

On peut ensuite définir, toujours à priori, tous LES critères SECONDAIRES que l'on veut, et les analyser sur la population que l'on veut (intention de traiter ou per protocol), dans la mesure ou tous ces choix sont argumentés.

Après on fait l'essai

Et après on fait l'analyse stat, en respectant strictement ce qui a été écrit dans le protocole.

On analyse toujours en premier le critère principal. En 1 seul test. Cette analyse est donc méthodologiquement irréprochable et a un haut niveau de preuve.

Ensuite on analyse les secondaires. Là, évidemment, il y a répétition des tests mais le biais principal est maitrisé car on a émis les hypothèses avant de les tester. Ces résultats auront un niveau de preuve moindre.

Enfin on publie. Le critère principal est toujours clairement différencié des secondaires dans la publi, pour bien éclairer le lecteur sur le niveau de preuve qu'il peut attendre des différentes analyses (maxi pour le principal, plus faible pour les secondaires)

Merci,

ça me permet de mieux comprendre les principes sur le protocole à respecter (même ça ne répond pas entièrement à ma question de base :-S)

Pour ta question de base, du moment qu'on teste plusieurs hypothèses sur un même échantillon, que ce soit sur la population de l'essai ou des sous populations (sous groupes, intention de traiter/per protocol), on est confronté au problème de la multiplicité des tests.

Mais il faut tenir compte du fait que le calcul classique de hausse de alpha lié à la multiplicité des tests est valide si l'on effectue AU HASARD plusieurs tests statistiques sur plusieurs variables mesurées sur un même échantillon, et donc que les hypothèses sont déduites A POSTERIORI de quelques résultats "choisis" parmi de multiples comparaisons.

En appliquant une méthodologie garantissant strictement que les hypothèses sont émises A PRIORI puis testées, on limite considérablement (mais quand même pas complètement) la hausse de alpha. L'interprétation des analyses secondaires n'est donc pas irréprochable, mais tout est fait pour limiter au maximum le risque de conclusion erronée.

Reste un dernier problème: la vérification de la comparabilité des groupes: lors de l'interprétation des résultats, bien qu'une procédure de randomisation ait été mise en place, il faut vérifier que le hasard n'ait pas fait un caprice et que les groupes (traitement exp / traitement contrôle) soient bien comparables. Il y a généralement beaucoup de variables à comparer et là, on est en plein dans la multiplicité des tests "au pif" et un gros risque qu'un p significatif remonte par hasard par ci par là. La tendance actuelle n'est plus de faire une ribambelle de tests mais de simplement décrire les données et rechercher des dissymétries pouvant suggérer un biais de sélection.

Merci pour ta patience et toutes ces explications :-)