correction de la p-value lors d'observations répétées ?

Bonjour à tous,

Je dispose d’un groupe de 7 primates en semi-liberté. On observe la préférence manuelle de chacun des individus dans 6 tâches différentes. On note donc à chaque fois si l’individu utilise la main droite ou la main gauche.
On obtient un tableau de la forme suivante :

Individu	Tâche	Préférence manuelle
Indiv1	Tâche1	MainDroite
Indiv1	Tâche1	MainDroite
Indiv1	Tâche1	MainGauche
Indiv1	Tâche1	MainDroite
Indiv1	Tâche1	MainGauche
...	...	...
Indiv2	Tâche1	MainDroite
Indiv2	Tâche1	MainGauche
Indiv2	Tâche1	MainDroite
Indiv2	Tâche1	MainDroite
...	...	...

Ensuite, afin d’évaluer la préférence manuelle de chacun des individus on effectue un test binomial bilatéral pour chaque tâche à partir du nombre de main gauche et de main droite pour chaque individu et on obtient le z-score et la p-value.
On obtient un tableau de la forme suivante pour chacune des tâches:

Tache 1:

Individus	Main Gauche	Main Droite	z-score	p-value
Indiv1	8	13	1.09	0.2752
Indiv2	10	12	0.43	0.6698
Indiv3	12	12	0.00	1.0000
Indiv4	11	14	0.60	0.5485
Indiv5	5	18	2.71	0.0067
Indiv6	5	12	1.70	0.0896
Indiv7	6	17	2.29	0.0218

Tache 2
Individus Main Gauche Main Droite z-score p-value
...


Lors d'une expérience de ce type, doit-on réaliser une correction de la p-value afin de prendre en compte la multiplication des observations ou est-ce que cela ne nous concerne pas ici ?

S'il faut bien appliquer une correction comment doit-on l'appliquer:
- faut-il considérer que, par exemple, pour l'individu 1 il y a 21 observations et on corrige la p-value de cet individu en fonction de ce nombre d'observation ?
- ou faut-il considérer qu'il y a eu 155 observations pour l'ensemble des 7 individus pour la tâche 1 et on corrige alors la p-value de chaque individu en fonction de ce nombre de 155 observations ?
- ou faut-il considérer qu'il y a eu 900 observations pour l'ensemble des 7 individus pour l'ensemble des tâches et on corrige alors la p-value de chaque individu en fonction de ce nombre de 900 observations ?
- ou faut-il considérer un individu comme étant une observation dans une tâche et alors ou considère que pour la tâche 1 il y a eu 7 observations et on corrige alors la p-value de chaque individu en fonction de ce nombre de 7 observations ?

Est-ce que cela va dépendre de la question posée ?
Si oui, que faudrait-il faire si la question est :
1) existe-t-il une préférence manuelle au niveau individuel pour la tâche 1, idem pour la tâche 2... ?
2) existe-t-il une préférence manuelle au niveau du groupe pour la tâche 1, idem pour la tâche 2... ?
3) la préférence manuelle du groupe est-elle significativement différente entre les différentes tâches ?
4) la préférence manuelle au niveau individuel est-elle significativement différente entre les différentes tâches ?


Enfin quelle correction serait la plus adéquate: Holm, Bonferroni ou Benjamini&Hochberg ?


Que ce soit dans les publications sur le sujet où l'on trouve des choses diverses et variées qui ne semblent pas toujours appropriées ou dans des lectures générales je n'arrive pas à trouver une réponse claire à cela.
Si vous pouviez me donner quelques conseils ou réponses vous m'aideriez beaucoup.

D'avance merci

Bonjour.

Je ne comprends pas pourquoi tu voudrais corriger ces p-values. A moins que l'observation soit censurée (on compte 200 tâches et on s'arrête, par exemple), il n'y a pas de raison.

Cordialement.

Rappel : Une p-value n'a pas de signification directe.

Bonjour et merci pour ta réponse,

En fait je me posais la question car j'ai eu la remarque de la part d'un reviewer pour un article. Je cherche donc à mieux comprendre quand faut-il corriger les p-values. Le reviewer trouvait surprenant que l'on ne parle pas de la possible erreur due à la multiplication des tests. Il dit que lorsque l'on teste la préférence manuelle au niveau individuelle pour les différentes tâches on réalise en fait 39 tests d'hypothèse (pour précision, on a 7 individus et 6 tâches; il y a une tâche pour laquelle 2 individus n'ont pas donné de résultats). Il précise ensuite qu'en utilisant la procédure de "false discovery rate" de Benjamin & Hochberg (1995) il trouve à partir de nos données que l'on ne pourrait rejeter de façon sûr que les hypothèses avec des p-values < 0.0038 (en considérant un niveau alpha de 0.05). En utilisant Bonferroni il dit que le niveau alpha corrigé est de 0.0013. J'ai un peu de mal à comprendre pourquoi il y a 39 hypothèses et je ne suis pas certain de bien saisir pourquoi on devrait appliquer la suite non plus.

Je voudrais proposer des stats propres et bien justifiées et donc il me faut bien comprendre dans quel cas il est nécessaire de faire une correction ou pas.
Lorsque l'on observe un individu de façon répétée pour faire un comptage de son comportement n'est on pas dans le cas d'une multiplication des tests ?
N'est-on pas dans le même cas que lorsque l'on a 1 boule rouge et 10 boules noires dans un sac par exemple ? Plus on fait de tirage plus on de chance qu'il y ait au moins un tirage de la boule rouge et il faut donc corriger la p-value en fonction du nombre de tirage ?
Dans notre cas on a 1 chance sur 2 à chaque observation d'avoir une saisie main droite ou une saisie main gauche, est-ce pour cela que d'après toi on ne doit pas faire de correction?

Merci beaucoup pour ton aide,
Cordialement

Effectivement, on multiplie les tests. S'il s'agit de tester des hypothèses indépendantes, il est normal de faire autant de tests que d'hypothèses à tester.
Comme je en sais rien de la situation, je ne peux pas trop savoir, mais évidemment, si on observe un individu et qu'on note dans diverses occasions la tâche et la main utilisée, on ne peut plus dire qu'il y a indépendance. par exemple, la mains qui servait pour une tâche n'est pas libre pour une nouvelle tache commencée avant la fin de la précédente.
Par contre, si on ne note, pour un individu que lorsqu'il fait une certaine tâche la main utilisée, les recueils de données sont indépendants, et il n'y a plus de problème.

Le mieux serait que tu étudies vraiment dans la littérature statistique les raisons de faire des corrections, pour savoir si tu es concerné. Dans la littérature statistique, pas dans les articles de tes collègues.

Cordialement.

Merci beaucoup gg,
Dans mon cas on a noté la main utilisée lorsque l'individu fait une certaine tâche. On est donc dans le deuxième cas que tu mentionnes. A chaque fois les individus ont les deux mains libres avant de réaliser une tâche et la probabilité qu'il fasse main gauche ou main droite reste la même tout au long de l'expérience. Je pense qu'il y a donc bien indépendance et qu'il n'y a pas besoin de corriger. J'ai commencé à regarder quelques publications en statistique sur le sujet mais s'il y en a une (ou plusieurs) en particulier à laquelle tu penses je suis intéressé par la référence.

Merci beaucoup
Cordialement

Salut,

Les corrections de type Bonferroni and co (pour faire large) ont été inventé pour corriger un effet statistique qui conduirait à rejeter l'hypothèse H0 simplement par pur hasard quand on réplique un grand nombre de fois un même test (note que ce n'est pas le nombre d'observations qui compte mais bien le nombre de tests). Par ex la correction de Bonferroni veut qu'on corrige le seuil alpha de rejet par un facteur 1/n, n étant le nombre de réplication du dit test.

Donc dans ton cas ça peut éventuellement se justifier. Mais franchement, ça fait vraiment la remarque de reviewer lambda qui ne se pose pas plus de question. Ces corrections sont surtout valables quand tu répètes sur un même jeu de données la même statistique (par exemple tu découpes un vecteur de valeur selon 39 couple d'identifiants). Si on commence à corriger les tests dans ton cas, il faudra aussi vérifier la réplication de nos tests sur toutes les publi suivantes pour voir si on a pas utiliser trop de fois le même test et qu'on ne doive pas corriger nos p-value des fois qu'on ait rejeter H0 à tord...car après tout tu aurais pu faire tes tests dans 39 études espacées d'un an (ça fait tout une carrière....ok...mais bon pourquoi pas ). Donc mon avis perso c'est que les corrections peuvent se faire pou éventuellement jauger de la pertinence d'une p-value un peu limite par rapport au seuil (en sachant que de toute façon une p-value de 0.04 sur un seuil de 0.05 doit déjà être regardée plus en détail). Ce qui compte ce n'est pas tant ta p-value qui ne sert d'ailleurs pas à grand chose sauf à contenter des reviewers en mal d'étoile sur les publi, mais bien la différence réelle d'utilisation des 2 mains. A la vue des qqs données que tu fournis, il semble que dès qu'une main est 3 fois plus utilisée qu'une autre alors le test est significatif. C'est bien là l'essentiel.

Nik

Bonsoir Nik,
Tes remarques sont très intéressantes et vont m'aider à être plus précis et plus claire dans la façon de présenter ces tests. Je commence à y voir plus claire dans tout ça et à mieux comprendre les cas d'utilisation de ces corrections.
Merci beaucoup