test unilatéral bilatéral

Bonjour,

lors d'un test de différence de moyenne, il est possible d'avoir l'hypothèse nulle H0: m1=m2 non rejetée sur un test bilatéral mais d'accepter l'hypothèse H1: m1>m2 sur un test bilatéral...

comment interpréter un cas comme celui-là puisqu'on dit que les moyennes ne sont pas différentes dans un premier temps, puis on dit que m1 est quand même significativement supérieure à m2 dans un deuxième temps.

Merci

Bonjour.

La première chose à voir est que l'acceptation ou le refus sont très relatifs au seuil de risque choisi. dans la situation que tu décris, on refuserait l'égalité au seuil 2% (si le seuil était le classique 5%). Autrement dit, on est dans une situation où le choix du seuil de risque est déterminant (plus que la réalité !).
Une deuxième chose est qu'on ne teste pas la même chose. dans le test bilatéral d'égalité, on teste si les deux valeurs ne sont pas trop éloignées, sans connaissance à priori sur laquelle est la plus grande. Dans le test unilatéral d'inégalité (même si h0 est l'égalité), on a à priori une connaissance plus importante de la situation, qui est que m1 n'est pas plus faible que m2, mais au moins égal (d'où le choix de l'hypothèse alternative). Donc on teste m1 pas trop éloigné de m2 contre m1 très supérieur à m2.

Voilà pourquoi appliquer des tests par automatisme est dangereux, puisqu'on interprète sans conscience des enjeux concrets.

Cordialement.

Mais du coup ça me donne l'impression que l'on peut montrer vraiment ce que l'on veut en changeant le seuil comme ça arrange... il existe des moyens de choisir un seuil ? ou c'est l'expérience qui le dit?

Je suis d'accord pour le fait qu'on ne teste pas la même chose. Ca veut dire que le test bilatéral n'a plus lieu d'être, et n'est plus du tout valable si l'on sait qu'une des moyenne sera forcément plus élevée que l'autre?
Et si une moyenne est forcément plus élevée que l'autre, mais que nous n'avons pas cette information au moment de tester celles-ci, le test bilatéral utilisé peut donc donner une interprétation fausse?

C'est pour ca qu'il faut définir l'hypothèse avant de la tester et non l'inverse.

Bonjour,

niaboc a écrit:Et si une moyenne est forcément plus élevée que l'autre, mais que nous n'avons pas cette information au moment de tester celles-ci, le test bilatéral utilisé peut donc donner une interprétation fausse?

Non, il ne donne pas une information fausse puisque qu'il te dira que tu ne peux pas accepter l'hypothèse d'égalité des moyennes (ce que tu supposes dans ton hypothèse ...). Il ne te donner comme information que ce que tu testes. Si tu n'as pas d'info à priori sur les population alors tu ne peux pas faire d'hypothèse sur celle-ci et dans ce cas là tu ne ferais pas le test de savoir si la moyenne 1 est supérieure à la moyenne 2.

Et dans un exemple comme ça :

on a augmenté nos campagnes publicitaires, et on devrait a priori vendre plus.
On regarde la moyenne des ventes avant et après et on compare ces moyennes.

On ne sait pas si les campagnes publicitaires vont réellement faire augmenter les ventes ou pas... dans ce cas faire un test unilatéral peut fausser les résultats car on a peut-être une baisse des ventes (lassitude face à la pression médiatique). Et dans ce cas on pourrait faire un test bilatéral plutôt, mais si les ventes augmentent réellement, on risque d'accepter à tort l'hypothèse d'égalité.

Une comparaison avant après n'est pas la même chose qu'une comparaison de deux échantillons indépendants dont on souhaite tester les moyennes. Il y a une notion d'appariement que tu n'as pas dans le second cas.

niaboc a écrit:On ne sait pas si les campagnes publicitaires vont réellement faire augmenter les ventes ou pas...

Oui, c'est bien pour ça qu'on cherche à le tester. Dans tous les cas c'est une hypothèse que tu testes. Si tu as des hypothèse à priori sur les différences de moyenne alors il serait dommage de s'en passé. Ici l'hypothèse alternative à priori est que la moyenne après campagne devrait être supérieure.
Si les ventes n'augmentent pas ton test te dira qu'elles n'ont pas augmenter et donc tu ne rejetteras ton hypothèse alternative et ne pourra rejeter ton hypothèse nulle.

Dans tout les cas tu auras calculer tes moyennes avant de faire le test et tu verras bien que la moyenne après campagne est inférieure à celle avant. Dans ces cas la il n'y a pas d'intérêts à savoir si elle à augmenter. C'est évident.

Vous en êtes encore au stade des tests de "différence significative" sur ce forum ? Si tu gagnes 100€ avec une méthode et 100.01€ avec une autre, est-ce que la différence t'importe ? Arrêtez avec ces tests inutiles, qui concrètement ne servent qu'à enfumer ceux qui ne comprennent rien aux stats.

Je ne crois pas que la discussion ici présente soit entre personnes qui ne comprennent rien aux stats, bien au contraire je la trouve particulièrement justifiée du fait qu'on entre là dans une notion assez précise de ce domaine et qu'au contraire ceux qui ne comprennent rien aux stats s'arrêtent généralement au plus aux tests bilatéraux.

Sur un plan personnel je trouve ce fil de discussion très instructif car la question que se pose Niaboc est une question qui a forcément dû venir à l'esprit d'un grand nombre de statisticiens qui ont pourtant roulé leur bosse et qui ont la plupart du temps laissé tomber la chose plutôt que d'aller au bout de la réflexion. Au passage, je trouve également le milieu de ton intervention très intéressante.

Bizarre, Popotam, ta réaction !

Ce n'est pas parce qu'une méthode est employée de manière absurde par certains qu'elle ne peut pas avoir une utilisation intelligente.

Mais je reconnais que beaucoup d'utilisateurs non statisticiens demandent des test là où ils ne servent à rien.

Cordialement.

NB : j'aimerais comprendre le pourquoi de ta réaction.

Salut,

Le principal reproche à faire sur les tests d'hypothèse vient effectivement à mon avis des utilisateurs qui posent des hypothèses (H0 et/ou H1) absurdes. Soit parce qu'elles sont complètement triviales soit sans fondement. Donc niaboc, comme l'a très justement souligné Droopy ou encore gg, si tu as toutes raisons de croire que ton test doit être unilatéral alors le test bilatéral est absurde. Cela correspondrait à un mauvais travail de statisticien qui n'aurait pas tenu compte de toute l'information disponible.

Maintenant, sur la question soulevée par Popotam quant à l'intérêt de démontrer des différences statistiquement significatives (ie en lien avec la distribution observée des valeurs) sans prendre garde à leur importance réelle, il faut quand même resté mesuré (c'est ce qui est développé dans les tests d'équivalence ou TOST).
Popotam a choisi un exemple où tout le monde peut se rendre compte de l'absurdité du test car on connait tous l'échelle monétaire, notamment l'€ dans un forum francophone. Mais ce n'est pas toujours le cas, parfois la mesure que l'on fait a une unité dont aucune perception humaine n'est possible: on ne peut pas dire si la différence observée est faible ou pas. Dans ce cas l'appui sur une mesure en lien avec la distribution statistique des valeurs est une première aide non négligeable mais qui bien entendu ne peut perdurer dans le temps, c'est seulement une première étape pour aider petit à petit à calibrer l'unité.

Nik

Nik a écrit:Salut,

Donc niaboc, comme l'a très justement souligné Droopy ou encore gg, si tu as toutes raisons de croire que ton test doit être unilatéral alors le test bilatéral est absurde. Cela correspondrait à un mauvais travail de statisticien qui n'aurait pas tenu compte de toute l'information disponible.

D'accord. C'est ce que je disais dans mon deuxième post lorsque je disais que le test bilatéral n'a plus du tout lieu d'être.

Merci pour toutes vos réponses.
Quant à Popotam, je comprends que tu puisses être exaspéré car c'est un sujet qui a déjà été traité a de multiples reprises sur de nombreux forums, mais je voulais aussi avoir l'avis des personnes que j'ai l'habitude de lire ici.

le principal reproche à faire sur les tests d'hypothèse, c'est le nombre considérable de gens qui testent tout et n'importe quoi au hasard, qui extraient de tout ca 1 ou 2 p significatifs, et qui élucubrent A POSTERIORI une hypothèse sous jacente. Ca devient particulierement risible quand certains s'amusent à regarder au pif des matrices de corrélation entre un nombre incroyable de variables et partent sur des raisonnements fumeux parce que au milieu de tout ca un r est significativement différent de zéro.

Ce qui est particulièrement malhonnete, c'est qu'au moment de la rédaction ces gens là écrivent leur papier comme si l'hypothèse avait été formulée à priori puis vérifiée par un test, et donc enrobent leurs délires d'un vernis méthodologique virtuel.

Ok C@ssoulet.

Mais on ne peut pas reprocher aux tests eux-mêmes leur emploi malhonnête par certains ... Autant reprocher aux automobiles les accidents crées par des chauffards.

Après tout, on rencontre partout des gens qui parce qu'ils ont fait 2 calculs inutiles disent "c'est scientifique". Ce n'est malheureusement pas réservé aux statistiques.

Cordialement.