Puissance statistique sans H1?

Bonjour,
Je lis dans un intéressant article sur les erreurs statistiques
h2mw.eu/redactionmedicale/2011/11/CMJ%2020%20stat%20errors_T%20Lang_2004.pdf
le point 17 qui correspond à mon énorme souci du moment:
"quand la puissance statistique est faible", une non-significativité vaut non-conclusion, pas non-différence prouvée.
Quelle est cette mystérieuse "puissance statistique"? Est-ce que c'est le risque d'erreur de seconde espèce (qui impose de formuler une hypothèse alternative)?
Bref, s'il n'y a pas d"hypothèse alternative énoncée, peut-on généraliser en "résultat non-significatif implique non-conclusion (nombre de valeurs trop faible)"?
Merci.

Voir un cours sur les tests d'hypothèse.

gg a écrit:Voir un cours sur les tests d'hypothèse.

J'ai lu un cours de G.Saporta ("choisir l'hypothèse nulle comme ce qu'on veut rejeter"), en plus de ce que j'ai appris à l'université, MAIS les normes ISO et les pharmacopées regorgent de "validations par non-significativité", qui ne choquent que moi, apparemment.
Hé, on rend "c'est bon" avec un "risque (de 1e espèce) <5%" ou <1%, et on oublie de signaler qu'en acceptation d'hypothèse nulle, ce n'est pas le risque de 1e espèce qui compte mais celui de seconde espèce, qui varie en sens inverse. Donc, sans le dire, on accepte le "un peu mauvais", échouant seulement à être prouvé "très mauvais"... C'est bien ça?? Horreur statistique, non?

Ce n'est pas parce qu'une technique est utilisée de travers par certains qu'elle est incorrecte.
Plein de gens font des calculs idiots pour se rassurer, justifier leurs présupposés ou même tricher. ça ne rend pas les maths fausses.

Mais va étudier vraiment ce qu'est la puissance d'un test.

NB : Tu donnes l'impression d'avoir des comptes à régler ... ne tords pas la vérité dans l'autre sens.

Je viens de lire spiral.univ-lyon1.fr/mathsv/cours/stats/chap7/c7p2/c7p2.html et le paragraphe sur la puissance ne m'a rien appris que je ne savais déjà.
 
J'ai rencontré un cas où les mathématiciens professionnels unanimes affirmaient "bon avec moins de 5% de chances de se tromper", et mon calcul donnait "94,5% de chances de se tromper", c'était faux ce qui était affirmé officiellement. En quoi tors-je la vérité? On m'a dit d'aller me faire expliquer sur les forums Internet, et me voilà...

Ben ... pose la bonne question, au lieu de ressasser.

OK, pardon.
Un texte réglementaire affirme qu'est "bon" tout lot ayant moins de 1,5% de pièces mauvaises. Le lot NNN est mesuré : 1,9% de pièces mauvaises (53/2800), avec un intervalle de confiance [1,4%;2,4%] à risque alafa 5%. Les mathématiciens at les dirigeants unanimes disent que NNN est bon avec risque alfa 5% (la valeur-seuil 1,5% n'est pas significativement rejetée).
Moi (prenant le modèle gaussien qui a servi au calcul d'intervalle de confiance), je calcule la proba dans NNN d'avoir moins de 1,5% mauvais, et je trouve 5,5%. J'en conclus qu'il n'y a pas "moins de 5% de chances" que NNN soit mauvais mais 94,5%. Et que le texte réglementaire (ne définissant aucune H1 donc aucune puissance), lu ainsi, n'évacue comme mauvais que ce qui a >97,5% de chances d'être mauvais. Quadrupler la taille d'échantillon aurait divisé par deux la largeur de l'intervalle de confiance, montrant NNN mauvais (1,9%±0,25%). Non-significativement mauvais n'implique pas bon mais taille d'échantillon insuffisante, à mon avis.
Qui a mathématiquement raison?

Désolé,

mais je ne comprends pas. Ce que tu expliques ne ressemble à aucune norme, et me fait penser que tu interprètes de travers la façon dont a été conçu le test.

La norme est construite sur le principe évident de ne pas rejeter à tort. On aurait pu faire autrement, mais comme le 1,5 % de départ est conventionnel, ne correspond à aucune règle, cela n'a pas beaucoup d'importance.

Maintenant, quand on pratique un test, il arrive que le test soit "tout juste bon". Si on a construit une convention à partir de ce test, tout juste bon est bon, et à peine mauvais est mauvais. De même que si tu roules à 54 km/h en ville, un radar ne te flashera pas, mais à 55 il le fera. Ce n'est pas ici vraiment un intervalle de confiance (*), mais l'idée est la même.

Revois et repense à comment fonctionne un test.

Mathématiquement, la norme est impeccable. C'est l'interprétation qu'on en fait qui peut être discutable. La tienne l'est : Au lieu d'appliquer une règle sûre, tu pars d'un résultat particulier pour inférer une règle générale. Dans ce type de cas, c'est assez malsain. Même si parfois on n'a pas d'autre moyen que d'utiliser les résultats d'un échantillonnage.

Cordialement.

(*) c'est un intervalle d'erreur de l'instrument, d'ailleurs assez large.

Effectivement, du point de vue industriel visant à ne pas jeter à tort, ce test est parfait.
Ce qui est choquant, à mon sens, est le point de vue "client" à qui on assène "moins de 1,5% mauvais, prouvé statistiquement". Là, de ce point de vue "qualité", c'est l'acceptation à tort qui compte, qui pose problème. Pratiquer la logique industrielle de moindre rejet, en clamant dans les discours une parfaite "qualité et honnêteté" me paraît mensonger - le commerce fonctionne ainsi, peut-être, même en blouse blanche finalement... (blouse de scientifique, pas de boucher-charcutier)

Bof !!

Et n'attribue pas aux statisticiens ce qui est une discussion entre vendeurs et clients (tout industriel est les deux; les normes ont été faites par tous).

Tu as une réaction bizarre d'amoureux déçu.

D'accord, il ne faut pas généraliser, mais "chez nous" (et "chez les rédacteurs de normes"), ce que font les statisticiens professionels choque profondément le statisticien amateur que je suis. C'est tout. Ça explique un peu.

Désolé,

mais pour l'instant, tu n'as jamais parlé des statisticiens professionnels. Tu n'es pas très cohérent dans tes propos. La phrase " "chez nous" (et "chez les rédacteurs de normes"), ce que font les statisticiens professionels choque profondément le statisticien amateur que je suis" n'a d'ailleurs aucun sens.

Bon, je crois que je vais arrêter de répondre, ça devient ésotérique.

Désolé aussi, je suis tenu au secret professionnel. On ferait mieux d'arrêter là, tu as raison. Merci.