Les conditions d’application du test de Student (et autres)

Bonjour a tous.

Voici une question qui m’agace quelque peu à intervalles régulier depuis mes études de statistiques ; non pas parce que je n’ai pas la réponse mais parce que j’ai trop de réponses. :-)


I) Le rappel du contexte

Le test de student compare les moyennes des deux échantillons (par exemple le taux d’une hormone pour des patients ayant reçu un traitement A et pour des patients ayant reçu un traitement B). Il détermine avec quelle probabilité, la supériorité observée de la moyenne d’un échantillon rapport à la moyenne de l’autre est dans le même sens que celle qu’on aurait observée si on avait appliqué à la population générale.

Ce test suppute que dans chaque échantillon les observations suivent une distribution normale.


II) Le rappel des problèmes que ça pose.

1) En vrai, les distributions des données réelles ne suivent quasiment jamais parfaitement une loi normale. Déjà pour une raison toute bête : Les données sont recueillies avec un certain nombre de chiffres significatifs (généralement 2 à 4) donc elles suivent forcement une distribution discrète.

2) Les tests paramétriques sont plus puissants que les tests nom paramétriques (type Wilcoxon). Donc du point de vu de la structure qui réalise l’étude (par exemple un labo qui test son traitement contre l’existant) c’est toujours «plus intéressant» d’appliquer ce test de student qu’un test de Wilcoxon par exemple.


III) Quelques propositions de conditions


a) Comme sur ce site "sthda.com" il est parfois suggéré d’utiliser un test de normalité (par exemple Shapiro-Wilk) pour les petits échantillons (n < 30). On est alors «autorisé» à utiliser le test de student si le test de normalité est non-concluant.
(N.B. Je ne peux pas mettre le lien vers l’article de sthda.com parce que en tant que nouveau je n’ai pas droit aux liens externes, ce que je comprends, mais vous pouvez le google facilement.)


b) Mais j’ai déjà entendu l’avis qu’il faudrait utiliser toujours le test de normalité par exemple.
(Edit : Je viens de voir que c’est le cas sur le forum ce lequel on se trouve par exemple
http ://statistiques.forumpro.fr/t3014-quel-test-choisir-l-analyse-differentielle-univariee)

Le problème que j’ai avec la version b) c’est que toutes les distributions de données réelles étant généralement non-normales, plus l’échantillon est important, plus les chances que le test de Shapiro-Wilk soit concluant augmente. Ainsi la structure qui réalise l’étude peut se retrouver «pénalisée» par le fait d’avoir un échantillon plus grand, parce que cet échantillon plus grand va rendre le test de Shapiro-Wilk plus probablement concluant et ainsi «interdire» l’utilisation du test de student.


IV) Exemple de cas extrême

Voici un cas extrême qui me turlupine. Supposons que vous avez seulement 2 patients dans chaque groupe. A1 et A1 qui ont reçu le traitement A, pendant que B1 et B2 ont reçu les traitements B. Si A1 = A2 ≠ B1 = B2 alors le test de student va être concluant (car les variances estimées dans les sous-groupes sont nulles). Pour autant est-ce que vous trouvez cela satisfaisant ?

On rejoint ici la question du nombre de chiffres significatifs évoqué en partie (III). A1 = A2 et B1 = B2 mais sans-doute qu’avec une meilleure précision ce ne serait pas le cas.

Au-delà de ce cas extrême c’est la question de «jusqu’a combien de patient on peut se permettre de descendre» ? Sachant que les tests paramétriques peuvent-être concluant à partir de 4 contrairement aux tests non paramétriques qui nécessiteront plus de patients (au moins 8 pour avoir un résultat concluant avec un seuil à 5% il me semble).


V) Mes questions :

a) Y-a-t-il pour vous un nombre minimum de patients en dessous duquel en tant que statisticien vous direz toujours qu’on ne peut rien conclure quelles que soient les données ?

b) Est-ce que pour vous considérez le test invalide si la variance dans les sous-groupe est nulle comme évoqué dans la partie (IV) ?

c) Quelles conditions appliquez-vous pour autoriser un test de student ?

d) Y-a-t-il a votre connaissance une instance qui fasse «autorité» sur ce type de questions ?


P.S. C’est une question que j’ai déjà posée  il y a une dizaine de jours sur un autre forum (le sous-forum statistique de developpez.com). Je n’avais reçu qu’une seule réponse (qui était plus ou moins entre «je ne sais pas» et «voir au cas par cas»). Mais je vois que ce forum est bien plus fréquenté et actif, je me demande si j’aurais plus d’avis ici.


Cordialement

Bonjour,

Voici ci-dessous mes reponses (tres personnelles et subjectives) a ces questions.

a) Y-a-t-il pour vous un nombre minimum de patients en dessous duquel en tant que statisticien vous direz toujours qu’on ne peut rien conclure quelles que soient les données ?

Non. Ca depend du contexte. En physique, ou dans les etudes animales faites sur des souris de la meme lignee, la variabilite inter-observations est generalement faible, donc il est parfois possible de faire des tests meme sur des effectifs reduits. Il faut malgre tout rester conscient du manque de generalisabilite ainsi que du risque que le test soit sous-puissant. Lorsqu'on travaille sur des populations dans lesquelles la variabilite inter-individuelle est grande (recherche clinique par exemple), je pense vraiment qu'une étude transversale n'incluant que 5 personnes par groupe (par exemple), ne peut pas etre analysee a l'aide d'un quelconque test stat, y compris avec un test de permutation.

b) Est-ce que pour vous considérez le test invalide si la variance dans les sous-groupe est nulle comme évoqué dans la partie (IV) ?

S'il n'y a pas de variabilite, aucun test n'est necessaire. La seule chose a considerer est de savoir si la difference entre les groupes est cliniquement pertinente. Mais bon, dans un cas comme ca, j'aurai des doutes sur la qualite de la mesure de mon critere de jugement!!

c) Quelles conditions appliquez-vous pour autoriser un test de student ?

En general, je passe par la regression lineaire completement equivalente (en utilisant une distribution de Student et non un Z-test) et je verifie la normalite des residus. Si la distribution semble normale (via des methodes graphiques), ca me suffit. Si les variances entre les groupes sont inegales, un estimateur robuste (sandwich) de la variance peut etre utilise.


d) Y-a-t-il a votre connaissance une instance qui fasse «autorité» sur ce type de questions ?
Non. D'une certaine maniere, le choix depend vraiment de la question a laquelle on essaie de repondre, donc il serait presque dangereux d'avoir des regles strictes pour les choix de test.

Encore une fois, ce n'est que mon point de vue personnel, et je suis sure que d'autres membres du forum vont etre en desaccord.

P.S. C’est une question que j’ai déjà posée  il y a une dizaine de jours sur un autre forum (le sous-forum statistique de developpez.com). Je n’avais reçu qu’une seule réponse (qui était plus ou moins entre «je ne sais pas» et «voir au cas par cas»). Mais je vois que ce forum est bien plus fréquenté et actif, je me demande si j’aurais plus d’avis ici.

Desolee, mais reponse va dans le meme sens...

Ayana

Ayana a écrit:

P.S. C’est une question que j’ai déjà posée  il y a une dizaine de jours sur un autre forum (le sous-forum statistique de developpez.com). Je n’avais reçu qu’une seule réponse (qui était plus ou moins entre «je ne sais pas» et «voir au cas par cas»). Mais je vois que ce forum est bien plus fréquenté et actif, je me demande si j’aurais plus d’avis ici.

Désolee, mais ma réponse va dans le même sens...

Ayana

Il n'y a pas à être désolé. La raison pour laquelle j'ai reposté ici ce n'est pas que la réponse ne me convenait pas mais que j'en avais qu'une seule. Par ailleurs votre réponse m'apporte plein d'informations supplémentaires.

Je suis exactement de l'avis de Ayana. Je rajouterais juste deux points :

1) Ce problème a été (énormément) abordé et travaillé dans les années 60-70 (lors de l'avènement des premiers ordinateurs puissants pour faire des simulations et tester ainsi différentes distributions), et il est à présent largement établie que le test-t (et plus généralement le modèle linéaire général) est très robuste à la non-normalité et à l'hétéroscédasticité des données. En clair, hormis si on a vraiment des distributions pourries (e.g., avec plusieurs modes, ou des données vraiment extrêmes, etc.) ou notoirement connues comment n'étant pas normales (e.g., comptages, pourcentages, etc.), on ne regarde généralement par trop si les conditions d'applications sont respectées ou non. C'est une question qui n'est plus discuté depuis des décennies à présent.

2) Super l'idée de lancé ce débat ici (même s'il est obsolète selon moi), mais je ne vois pas trop l’intérêt d'y coller un sondage..

HTH, Eric.