40 tests de proportion

Bonjour,

je fais un test de proportion sur différents groupes dans 40 populations différentes et indépendantes (H0: il n'y a pas de différence entre les deux groupes).
En prenant un risque de première espèce à 10% j'obtiens 4 groupes significatifs...

Je me demandais si les 4 groupes significatifs n'étaient pas le résultat des 10% de risque d'erreur??? (40*10%=4) Il y a donc en moyenne 4 groupes non significatifs à tort.


Comment prouver que mes 4 groupes significatifs ne sont pas seulement le résultat de l'aléatoire?

ou alors est-on obliger de valider le fait que ces 4 groupes sont le résultat de l'aléatoire? => l'étude s'arrête ici.


première piste :
J'ai calculé (avec ces 10% de risque + propriété de la loi binomiale) qu'on avait 1 chance sur 5 que 4 groupes soient significatifs à tort, sous l'hypothèse H0.
=> ce pourcentage étant faible, nous avons forcément des groupes réellement significatifs.
Mais d'un autre côté, on a 98.5% de risque d'avoir au moins un groupe significatif à tort... et plus d'1 chance sur 2 d'avoir au moins 4 groupes significatifs à tort, donc bon...
tout ça ne m'aide pas beaucoup j'ai l'impression.




Aurait-on besoin de la puissance du test pour pouvoir dire quelque chose? ça nous assurerait juste d'être sûr de détecter les groupes significatifs, mais le problème des significatifs à tort serait toujours là... donc je suppose que la puissance est inutile ici. Et puis je doute qu'elle soit possible à calculer.

Il y a un truc pas mal sur les comparaisons multiples ici.

http://www.spc.univ-lyon1.fr/polycop/comparaisons%20multiples.htm

Merci pour cette réponse!

Mais j'ai l'impression que mon problème est un peu différent... Car dans mon cas le test porte sur des groupes de personnes ayant des profils vraiment différents et on admet que l'hypothèse H1 soit possible pour des groupes et pas pour d'autres. Dans ton document, j'ai l'impression (dis moi si je me trompe) que ça porte plus sur la répétition d'un même test sur des sous-groupes identiques pour valider l'effet du traitement sur l'ensemble de la population.

C'est plus : je fais 100 tests différents mais avec le même risque de significativité (10%).

Il y a donc 10 groupes qui peuvent être potentiellement significatifs à tort.

Les solutions sur les comparaisons multiples ne peuvent pas être appliquées car ce sont pas du tout les mêmes tests, sur des données différentes?

On ne pourrait donc rien dire?

J'avais lu un peu vite. Effectivement le lien que je t'ai donné concerne les comparaisons multiples effectuées sur les mêmes populations et ne semble pas applicable dans ton cas.

Mais je ne comprends pas très bien ce que tu fais. Si tu as 4 populs ABCD et que tu compares A<>B puis C<>D il n'y a pas de problème.

j'ai 40 populations.

Dans mes 40 population différentes je réalise un test de comparaison de proportion entre 2 types d'individus.

On peut donc accepter que le test soit significatif pour certains groupes et pas d'autres.

Cela me donne donc 40 tests et j'obtiens 4 groupes significatifs, mais, tout comme dans les comparaisons multiples j'ai un risque d'acceptation à tort pour chacun des tests; que je ne peux pas maîtriser ici?

Si, comme je le comprends, c'est à chaque fois les mêmes types d'individus, pourquoi ne pas pooler les données?

Mais peut-être que ça n'a pas de sens parce que les populations sont trop différentes, ou parce que la question n'est pas une différence globale entre types sur l'ensemble de tes populations, mais juste dans quelle(s) population(s) ils le seraient éventuellement si jamais l'"effet type" n'était pas le même dans toutes les populations?

Quelle est la question en fait?

bogette79 a écrit: la question n'est pas une différence globale entre types sur l'ensemble de tes populations, mais juste dans quelle(s) population(s) ils le seraient éventuellement si jamais l'"effet type" n'était pas le même dans toutes les populations?

C'est exactement ça!

et du coup les tests n'ont peut-être rien à voir entre eux et il est inutile d'essayer de mesure une sorte de risque global ou et d'essayer de le maîtriser?

Ben c'est quand le même H0 qu'on teste...
C'est un peu comme si tu avais une analyse de sous-groupe géante non?
Dans un cas comme celui-là, si on avait par exemple 3 sous-groupes (ou populations), j'aurais pensé direct à un test d"interaction entre population et type d'individu...

... avec 40, si un seul diffère vraiment par exemple j'ai peur que le test d'interaction ne permette pas de le détecter ...??

"la question n'est pas une différence globale entre types sur l'ensemble de tes populations, mais juste dans quelle(s) population(s) ils le seraient éventuellement si jamais l'"effet type" n'était pas le même dans toutes les populations? "

C'est vraiment ça, donc je préfère rester sur mes 40 tests.

Mais ils n'ont rien "en commun" et ça n'a pas de sens de déterminer un risque global et d'essayer de le maîtriser?

si vraiment tu te poses 40 questions différentes... alors non ça n'a pas de sens
c'est pas tout à fait ce que j'avais compris mais bon je ne connais que partiellement ton problème,donc t'es mieux placé pour le savoir.

bogette79 a écrit:si vraiment tu te poses 40 questions différentes... alors non ça n'a pas de sens
c'est pas tout à fait ce que j'avais compris mais bon je ne connais que partiellement ton problème,donc t'es mieux placé pour le savoir.

Ce n'est pas vraiment 40 questions différentes puisque je teste la réactivité d'individus face à un facteur quelconque. Mais je fais cela sur 40 populations distinctes, qui peuvent réagir différemment à ce facteur.

Je pense qu'on peut donc considérer que ce sont 40 tests distincts, on ne peut pas rentrer dans un cadre de test multiple, ou de tests du genre Tukey, etc.

Il n'y a donc pas de raisons de devoir calculer un risque global? les 4 groupes significatifs sur les 40 ne sont pas le résultat de l'aléa du au 10% de risque choisi pour les 40 tests.

Tu n'es pas intéressé par un effet global, ça j'ai bien compris.
Mais ta question, elle, semble globale :
"dans quelle(s) population(s) ils le seraient éventuellement si jamais l'"effet type" n'était pas le même dans toutes les populations"

Est-ce que tu ne chercherais donc pas à tester :
H0 : il n'y a de réactivité dans aucun des groupes (l'effet dans tous les groupes est le même et il est nul)
vs
H1 : il y a de la réactivité dans au moins un groupe (l'efffet dans au moins un groupe n'est pas nul)

Si c'est bien ça, comme tu l'as dit toi-même dnas ton premier post, tes 4/40 groupes signif avec un alpha de 10% ne sont pas incompatibles avec le fait que l'effet réel de ton facteur puisse être nul dans toutes les populations.

Ca se rapproche un peu de ce que je recherche, sauf que je n'ai pas qu'un seul test qui correspond à l'hypothèse que tu as écrite. J'ai 40 tests avec comme hypohtèses :

test de proportion :
H0 : Les deux types d'individus réagissent de manière identique
vs
H1 : Les deux types d'individus ne réagissent pas de la même façon.

Je n'ai donc pas un test "global" comme tu pourrais avoir avec une ANOVA et qui renvoie aux hypothèses que tu as écrites.
Donc je me au fil de ce post je me suis plutôt dit que ce sont vraiment 40 tests différents et qu'il n'est donc pas logique de penser que mes 4 groupes significatifs sont dus à l'aléa. Un peu comme si tu prenais 40 tests de 40 articles différents et qu tu disais que le risque global des 40 tests est de 1-(1-alpha)^40.

Mais je me plante peut-être complètement; aussi, pourrais-tu aller plus loin dans ton raisonnement tout de même et me dire comment tu pourrais gérer ce risque d'aléa dans les tests.

bogette79 a écrit: tes 4/40 groupes signif avec un alpha de 10% ne sont pas incompatibles avec le fait que l'effet réel de ton facteur puisse être nul dans toutes les populations.

En tout cas merci pour tes réponses qui me font progresser dans ma réflexion

Pour gérer ce risque, s'il y a besoin dans ton cas (et je n'en suis pas tout-ä-fait sûre en fait, encore moins suite à ta dernière réponse), je pense qu'il serait mieux de ne faire qu'un seul test : test d'interaction entre effet et population (mais là je me dis que j'ai peut-être mal compris ton problème : qu'entends-tu par populations différentes en fait?) mais tu sembles dire que ce n'est pqs la question.
Une autre façon de faire serait d'utiliser une correction (Bonferroni, Benjamini Hochberg par exemple)
Mais bon dans les deux cas (interaction et bonferroni), avec 40 tests, tu vas perdre beaucoup en puissance.

Sinon j'ai trouvé vite fait les articles suivants.
Je n'ai pas encore eu le temps de les lire en détail, mais je pense qu'ils pourront peut-être t'apporter des éléments de réflexion supplémentaires :
OTTENBACHER 1998 AJE Quantitative evaluation of multiplicity in epidemiology and public health research
PANDIS 2013 AJO DO Multiplicity 1 : subgroup analyses
SCHULZ 2005 LANCET Multiplicity in randomised trials II : subgroup and interim analyses
BENJAMINI HOCHBERG 2000 JEBS On the adaptative control of false disvcoery rate in multiple testing with independant statistics

Et merci d'avoir lancé ce sujet! ça me fait réfléchir sur des questions que je ne me pose pas assez souvent e pense...

Bonjour Niaboc.

Je prends le débat en cours de route (j'avais abandonné internet depuis 15 jours). Il me semble que tu es simplement dans une illustration classique de l'incapacité à conclure sainement suite à un test statistique. On ne conclut que "sous réserves".

Si on fait un test au risque 10% et qu'il est significatif, on considère que H0 est à rejeter, mais en sachant (si on est sérieux) qu'on n'a que 9 chances sur 10 d'avoir raison.
Si on répète souvent des tests, même sur des situations indépendantes, les calculs de probabilité élémentaires montrent qu'il devient très probable de rejeter à tort même si H0 est vraie dans tous les cas.
En supposant la véracité de H0 à chaque fois, la moyenne sur 40 tests est de 4 rejets à tort. Si on a en plus l'indépendance des populations (et des tests) on peut utiliser la loi binomiale pour voir la probabilité de n'avoir aucun rejet à tort (0,015), ou 1,2, ...
Je ne vois pas de moyen de dépasser ce problème, qui est une conséquence immédiate de la procédure de test d'hypothèse. Il faut utiliser d'autres outils (mais je n'ai pas de conseil); peut-être les spécialistes du data-mining connaissent-ils.

Cordialement.

bogette79 a écrit:ne faire qu'un seul test : test d'interaction entre effet et population (mais là je me dis que j'ai peut-être mal compris ton problème : qu'entends-tu par populations différentes en fait?) mais tu sembles dire que ce n'est pas la question.
Une autre façon de faire serait d'utiliser une correction (Bonferroni, Benjamini Hochberg par exemple)

Par population j'entends 40 groupes qui sont réellement différents sur de nombreux critères, dont des critères socio-demo.
De plus dans chaque groupe il y a deux types d'individus : des personnes exposés à un stimuli et les autres.

Je sais qu'il existe une grande différence de comportement entre les groupes et je m'intéresse donc seulement au comportement dans chacun des 40 groupes entre les personnes exposés et les non exposés (40 tests de proportion).

La correction de Bonferroni ne serait pas utilisable sur 40 groupes effectivement.



En fait, mon problème reviendrait à :
- je prends 40 tests statistiques de 40 études complètement différentes. Elles sont toutes au risque alpha de 10%. Y-a-y-il forcément en moyenne 4 groupes significatifs à tort? Ou comme les études ne proviennent pas vraiment des mêmes données, on ne peut rien dire?

Merci pour les références.

gg a écrit:

En supposant la véracité de H0 à chaque fois, la moyenne sur 40 tests est de 4 rejets à tort. Si on a en plus l'indépendance des populations (et des tests) on peut utiliser la loi binomiale pour voir la probabilité de n'avoir aucun rejet à tort (0,015), ou 1,2, ...

Bonjour Gégé,

ça voudrait dire que sitôt que je fais un test et qu'il est significatif et qu'une personne me dit : "attends je viens de faire 39 tests tous non significatifs et il y 1-0.015=98.5% de chances d'avoir au moins un test significatif à tort"... donc mon test est presque surement significatif à tort?

Niaboc

Non !

Si tu lances une pièce et que tu fais pile, et que quelqu'un vient te dire "je l'ai lancée 39 fois auparavant et j'ai chaque fois fait face", en conclus-tu que tu t'es trompé en voyant pile ?

Il ne faut jamais confondre les probabilités et les réalisations. Tu avais une chance sur 10 de conclure à tort. Quoi qu'il se soit passé auparavant (qui n'influe pas sur ton test).

Soit on raisonne sur un test, soit on raisonne sur les 40. Sur chacun des 40 tests, le risque est 10%.

Cordialement.

Dans le document de Bogette :

http://www.unt.edu/rss/class/mike/5030/articles/benjaminihochberg.pdf , que pensez-vous de ce qu'il raconte à la 5ème page [page 63 dans le doc].

Pour ce qui est du test d'intéraction, Zelen (par exemple), le test serait probablement significatif car il est normal dans mon cas que certains groupes réagissent très bien au stimuli et d'autres non. C'est pour ça que je préfère mes 40 tests intra-groupe.


GG, pour en revenir à mes 4 tests significatifs du début sur mes 40 tests et si je suis ton raisonnement :
si je raisonne sur mes 40 tests, j'ai donc 98.5% de chance d'avoir au moins un significatif à tort.. mais on ne peut pas savoir lequel car si on revient à un raisonnement par test il ont tous 1 chance sur 10 d'être significatif à tort?

niaboc a écrit:
- je prends 40 tests statistiques de 40 études complètement différentes. Elles sont toutes au risque alpha de 10%. Y-a-y-il forcément en moyenne 4 groupes significatifs à tort?

Ça c’est seulement si tes 40 H0 différentes sont toutes vraies.

bogette79 a écrit:

niaboc a écrit:
- je prends 40 tests statistiques de 40 études complètement différentes. Elles sont toutes au risque alpha de 10%. Y-a-y-il forcément en moyenne 4 groupes significatifs à tort?

Ça c’est seulement si tes 40 H0 différentes sont toutes vraies.

Comme de bien entendu :-)

Niaboc,

tu n'as pas l'air de comprendre ce que j'ai expliqué.

Si dans tous les cas H0 est vraie (cas le plus gênant), tu as en moyenne 4 tests significatifs (à tort).

Maintenant, si tu ne sais rien, et que tu as, sur tes 40 tests, des tests significatifs, tu ne peux rien en conclure, car c'est le plus probable, soit que H0 soit parfois fausse, soit que H0 soit toujours vraie mais que tu as eu des faux significatifs.

Quant à raisonner comme tu le fais " j'ai donc 98.5% de chance d'avoir au moins un significatif à tort.. mais on ne peut pas savoir lequel ...", ça n'a pas de sens : Si tu fais les tests, tu sais lesquels sont significatifs. Et si tu ne les fais pas, il n'y a pas de signification au mot "significatif", qui concerne le résultat d'un test.

Cordialement.