Puissance d'un test a posteriori

Bonjour,

je m'adresse à vous pour connaître votre avis sur le calcul de puissance de tests statistiques a posteriori, c'est à dire une fois que l'on a recueilli et analysé nos données.

Certains auteurs sont contre cette pratique. Le principal argument que j'ai pu trouver est qu'il existe une relation directe entre la p-value et la puissance, qui fait qu'une grande p-value correspondra toujours à une faible puissance de test. Est-ce vrai dans pour tous les cas/contextes/tests ? Je n'ai pas bien compris d'où vient, mathématiquement, cette relation.

Je travaille sur de très faibles effectifs et je m'intéresse ici à mes résultats non-significatifs. Ceux-ci, si ça ne tenait qu'à moi, me "conviennent très bien". Je pourrais donc m'en contenter, mais il me semble plus juste (vu mes très faibles effectifs) de prendre la peine de vérifier si les tests utilisés étaient ne serait-ce qu'en mesure de détecter une différence significative. D'où mon intérêt pour le calcul de leur puissance a posteriori (seuil communément admis de 0,8 ).
Si j'ai bien compris, il est plutôt conseillé (au lieu du calcul de puissance a posteriori) de s'intéresser aux intervalles de confiance ?

Je travaille sous R sur des anova(glm()), puis test post-hoc de comparaison 2 à 2 si ANOVA significative.

J'ai l'impression qu'il y a débat sur ce sujet, j'espère que quelques personnes sauront donner un avis, ce qui me permettrait d'essayer de mieux comprendre les tenants de ce débat et de prendre position...

Merci.

Bonjour.

Je ne comprends pas très bien pourquoi tu parles de p-value très faible si tes tests ne sont pas significatifs.
De plus, pour de très faibles effectifs, les tests ne sont significatifs que si les différences sont très fortes, cas où il n'y a plus besoin de tests : Savoir si quelqu'un qui à l'éthylotest a 2g/l d'alcool dans le sang et à la prise de sang 2,3 g/l a significativement plus de 0,25 g/l me semble une question inutile, non ?
par contre tu sembles te poser une question saine : Avec de très faibles effectifs, que puis-je déduire de la réussite du test (test non significatif). Déjà avec de nombreuses données, on ne peut pas dire grand chose (*), avec très peu de données ... encore moins.

Cordialement.

(*) par exemple un test de normalité réussi ne dit pas que la population était gaussienne, mais seulement que les valeurs "ressemblent" à ce que serait un échantillon de même taille tiré avec une variable aléatoire gaussienne.

Je ne vois pas où je parle de "p-value très faible" ; mais ce n'est pas très important.

"si les différences sont très fortes" : dans ton exemple, on connaît la différence en termes de conséquences des 2 différentes valeurs. Il est bien d'autres cas, où il est difficile de dire si la différence observée est "très forte" ou sans conséquence... question alors de connaître la significativité biologique.

Merci pour ta réponse en tous cas.

Ah ! C'est moi qui ai mal lu. Je comprends mieux maintenant ce que tu écrivais au début.

D'accord avec ton dernier paragraphe, mais justement, si on n'est pas capable de décider ce qui est différent au vu des données, il va en falloir beaucoup pour pouvoir prendre des décisions. Les stats avec très peu de données sont toujours un peu "limite"; même s'il existe des méthodes, leurs justifications sont souvent peu convaincantes. Mais certains ne se privent pas.

Cordialement.

oui, on est bien d'accord ; mais dans mon cas, je fais avec ce que la nature veut bien me donner ;-)

un avis sinon sur l'utilisation de calcul de puissance a posteriori ?
voir par exemple Thomas 1997. Retrospective power analysis. Conservation Biology. 11.

Pas d'avis.

Je n'ai que peu pratiqué les statistiques et je n'y ai pas suffisamment réfléchi. les conclusions qu'on peut tirer d'un test sont déjà délicates, mais on peut penser crédibiliser les résultats par une analyse de puissance. Ce qui ne donne pas plus de renseignement qu'on en avait déjà (on n'a pas changé les données). Mais ça fait travailler de nombreux chercheurs.

Cordialement.

NB : D'une certaine façon, je ne crois pas trop aux statistiques sur peu de valeurs.

Bonjour,
J'ai vu sur le forum R qu'on t'a guidée vers ce fil : http://forums.cirad.fr/logiciel-R/viewtopic.php?t=2452
Comme on le voit à la fin de ce fil, le fait est que la puissance a posteriori est une fonction décroissante de la p-valeur. C'est assez évident quand on voit comment est fichue une courbe de puissance : plus le paramètre est "loin de H0", plus la puissance est grande, et la p-valeur est d'autant plus petite que l'estimation du paramètre est "loin de H0".
Sans vouloir te provoquer, je parierais que tu ne saisis déjà pas trop la notion de puissance ("a priori"), me trompè-je ?
Pour ce que tu veux faire : "vérifier si les tests utilisés étaient ne serait-ce qu'en mesure de détecter une différence significative", puis-je savoir ce que tu entends par "significative" ?

Voilà un autre article sur le sujet : Nakagawa & Foster 2004.

C'est une situation assez fréquente lorsqu'on travaille sur les maladies rares. On n'a pas assez de cas pour atteindre un effectif "correct" mais il faut bien essayer de faire avancer les choses et dégager des pistes.

Personnellement, j'adopte une attitude pragmatique: je m'efforce de rester sur des choses simples et consensuelles: bien décrire mes données, effectuer des tests de comparaisons en en précisant clairement les limites et bien travailler la partie "discussion".

L'interêt du calcul de puissance à postériori étant assez controversé, je lui préfère l'intervalle de confiance, ou médiane [valeurs extrêmes] selon les distributions. J'aime bien les "graphes en boites" de Tukey pour les représentations graphiques. Mais c'est un avis vraiment perso et je ne pense pas qu'il y ait de guide très précis dans cette situation

Bonjour,
oui merci Popotam je viens justement de récupérer cet article ! les grands esprits se rencontrent ;-)

Si, je pense avoir compris ce qu'est la puissance. Mais jusqu'à présent, intuitivement, je ne voyais pas pourquoi il ne serait pas possible d'avoir une forte p-value avec une forte puissance. Par exemple dans le cas de 2 sets de data, avec un n très grand et une variance très faible (-> très bonne puissance) et très très proches de la similitude, seraient donc déclarés avec une différence non-signif (puisque très proche de la similitude) et ce avec une grande puissance.
Mais il y a bien une chose sur laquelle je n'avais pas encore mis le doigt : la différence entre "significativité stat" et "significativité réelle" (où l'expérimentateur sait , par rapport à son domaine, son sujet d'étude, qu'une telle différence est significative, biologiquement parlant).

D'un point de vue stat., plus on aura de puissance, plus on sera capable de détecter une infime différence, donc plus notre p-value sera faible.
Alors que cette infime différence ne sera pourtant pas réellement significative d'un point de vue "terrain", concret. -> avec trop de puissance on risque finalement de rendre significatives des différences dont on sait biologiquement qu'elles ne signifient rien. -> d'où l'intérêt d'ajuster son protocole pour avoir un test qui détecte une taille d'effet définie par l'expérimentateur, qui sait que cette taille d'effet a une significativité au niveau de son modèle biologique.

Pour ma part, je ne sais définir cette taille d'effet et je fais avec ce que la nature me donne. ... la non-significativité de mes tests ne veut donc pas dire grand chose, en fait !! Ce qui est déjà une bonne prise de conscience

Plus que le calcul de la puissance a posteriori qui est très controversé, je devrais donc (pour montrer que j'ai quand même un minimum de recul sur mes résultats ) présenter les intervalles de confiance... sujet sur lequel il faut maintenant que je me penche... IC de quoi ? comment le calculer ?...

(Je me suis permise cette longue réponse car elle permettra, suivant les réactions qu'elle suscite, de confirmer ou d'infirmer mon raisonnement, mais aussi en espérant qu'elle éclaire un jour une personne perdue au milieu des réponses courtes et pleines de vocabulaire bizarre des stateux )

pour ce qui est des IC etc, je poursuis sur Nakagawa & Cuthill 2007...

Tu apprends vite on dirait.
Un IC de quoi ? Par exemple dans un test de comparaison de 2 moyennes (ANOVA à 1 facteur avec 2 modalités), on fait un test sur la différence entre les 2 moyennes, et on peut faire un IC sur cette différence.

apprendre vite... il s'agit surtout bien souvent d'un déclic !... jusqu'à présent il y avait juste quelque chose qui me gênait intuitivement et ça me paraît tellement logique maintenant ! bref.

oui, on parle bien de intervalle de confiance sur les tailles d'effet.
Merci Popotam de ton suivi !