Test apparié

Bonjour,

Je dois comparer une variable (un score) dans un groupe, avant et après intervention.
Mais le recueil du score s'est fait de manière anonyme avant l'intervention, et après.

Il s'agit bien du même groupe, mais je ne sais pas identifier le même sujet avant et apres l'intervention, puisque tout est anonymisé.

je ne peux donc pas utiliser de test apparié.

est ce grave (c'est à dire faux) d'utiliser un test non apparié ?

merci de votre réponse

Question intéressante à laquelle je n'ai jamais eu à répondre. Mon idée est que ce qui gène dans le traitement de données appariée est qu'il existe une corrélation entre les mesures avant/après car ce sont les mêmes unités expérimentales qui sont mesurées. Brasser ainsi tout entre avant et après, comme c'est votre cas, veut dire que, par définition, la corrélation avant/après disparait. Je ne vois donc a priori pas de problème pour traiter ce genre de données avec des tests qui ne sont pas pour données appariées. Ceci ressemble (un peu) aux procédures de bootstrap où les individus sont tirés à chaque fois au hasard pour récupérer un résultat moyen. Mais d'autres personnes sur ce forum pourraient avoir un avis différent.

HTH, Eric.

Bonjour,

'Grave' non, 'Embêtant' oui. Dans un cas ou tous les scores de tes individus chutent dans les mêmes proportions avant et après l'intervention, sans considérer l'appariement tu pourrais conclure que les différences de scores ne sont pas significatives alors que ce n'est pas le cas.
De plus les hypothèses testées avec et sans appariement ne sont pas les mêmes. Dans le cas sans appariement tu testes l'hypothèse nulle d'égalité des moyennes entre tes deux groupes (autrement dit que la différence des moyennes est nulles), en faisant l'hypothèse que les valeurs observées sont indépendantes. Dans le cas de l'appariement, du fait que les valeurs en sont pas indépendantes, tu testes si la moyenne des différences (pas la même chose qu'avant) est nulle.
J'aurai donc tendance a croire que ta situation pose un problème sérieux.
Un exemple 'extrême' pour la route :

Code:

set.seed(101)
x <- rnorm(15)
y <- x-0.25+rnorm(15,0,0.1)
t.test(x, y, var.equal = TRUE)

        Two Sample t-test

data:  x and y
t = 0.99716, df = 28, p-value = 0.3272
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.2944311  0.8529987
sample estimates:
 mean of x  mean of y
 0.1270838 -0.1522000
t.test(x, y, paired = T)
        Paired t-test

data:  x and y
t = 12.589, df = 14, p-value = 5.043e-09
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 0.2317036 0.3268640
sample estimates:
mean of the differences
              0.2792838

Dans un cas comme celui-ci, on voit que ne pas prendre en compte l'appariement joue sur la puissance du test, puisqu'on ne détecte pas la différence de moyenne, que l'on détecte si on prend en compte l'appariement.

Si tu restes sur ton test t sans appariement il va te falloir rester très prudent quand aux sorties de celui-ci et être critique sur son utilisation par la suite.

cdlt

Merci droopy, mais ceci ne répond pas il me semble à la question. Il n'y a plus appariement dans le cas posé, car on ne sais plus qui est qui. Il y donc un brassage des cas (comme dans un bootstrap que je mentionnais dans ma réponse), et on perd la corrélation avant/après. Je ne vois pas de problème de travailler sans appariement dans ce cas. Le seul problème, en fait, est que c'est le même échantillon dans les deux cas, c'est tout. Mais c'est également à chaque fois le même échantillon dans un bootstrap (ou un jacknife), et ceci ne pose aucun problème.

Ou bien j'ai loupé quelque chose.

Eric.

Si on parle d'un test simple de comparaison, ttest par exemple, il suffit d'après moi de revenir à une notion de base simple. Qui va en fait probablement reprendre de façon très basique ce qui a déjà été dit.

Quel est l'intérêt d'utiliser un test apparié, lorsque c'est possible ?

Les tests appariés sont plus puissants que les tests non appariés car leur calcul "tient compte" du fait que des données issues d'un même sujet ont tendance à être moins variables que des données issues de sujets différents.

La notion de puissance est simple: plus un test est puissant, plus il peut mettre en évidence de faibles écarts.

Donc si DocRe utilise un test non apparié sur des séries appariées, la conséquence est tout simplement qu'il applique un test un peu moins puissant. La comparaison n'est pas "fausse", le test est juste moins puissant.

Eric Wajnberg a écrit:Merci droopy, mais ceci ne répond pas il me semble à la question. Il n'y a plus appariement dans le cas posé, car on ne sais plus qui est qui. Il y donc un brassage des cas (comme dans un bootstrap que je mentionnais dans ma réponse), et on perd la corrélation avant/après. Je ne vois pas de problème de travailler sans appariement dans ce cas. Le seul problème, en fait, est que c'est le même échantillon dans les deux cas, c'est tout. Mais c'est également à chaque fois le même échantillon dans un bootstrap (ou un jacknife), et ceci ne pose aucun problème.

Ou bien j'ai loupé quelque chose.

Eric.

Au contraire il me semble que ça répond pleinement à la question, parce qu'ici on sait que les résultats proviennent des mêmes individus et donc par conséquent on sait que les données observées ne sont pas indépendantes, d'où les conséquences sur les résultats du test. Cet un état de fait que l'on ne peut pas ignorer au moment de la réalisation du test, même si l'anonymat fait que l'on ne peut pas prendre en compte l'appariement.
De plus comme déjà précédemment dit, les hypothèses testées ne sont pas les mêmes non plus. C'est juste qu'il faut que DocRe soit conscient, d'une part de l'hypothèse qu'il va tester par rapport à celle que l'on aurait pu/du tester si on avait pu attribuer les scores aux individus, et d'autre part les conséquences que ça a sur son résultat.

Si tu fais du bootstrap c'est les individus que tu vas tirer au hasard, donc ici ça ne changerait pas le problème de fond. Si tu cherches un IC de la moyenne des différences (et non de la différence des moyennes), tu tires au hasard tes individus mais tu gardes bien le fait que les données sont appariées et proviennent du même individu.

cdlt

Dans un test apparié c'est certes la moyenne des différences qui est testée à zéro. Mais ça revient mécaniquement à tester la différence entre les deux moyennes. Les deux hypothèses H0 sont dans ce cas équivalentes et on peut écrire l'une à partir de l'autre.

Dans un bootstrap on tire effectivement les individus au hasard, mais ce sont les mêmes individus, ici aussi. Le cas en discussion ici revient à tirer au hasard les appariements possibles, ce qui - de facto - enlève toute corrélation avant/après.

Il reste qu'il n'y a plus moyen de prendre en compte l'appariement ici, et je ne vois pas comment faire le test en question hormis de traiter le cas en non-apparié. Et je continues à ne pas vraiment voir pourquoi ceci constituerait un problème.

Pour finir, dans mon idée du bootstrap, je ne considérais pas l'appariement. Calculer un IC de confiance d'une moyenne n'est rien moi que de faire un test t, et ceci peut être fait en bootstrap en ré-échantillonnant à chaque fois les mêmes individus, comme ici.

Eric.

Code:

Dans un test apparié c'est certes la moyenne des différences qui est testée à zéro. Mais ça revient mécaniquement à tester la différence entre les deux moyennes.

Sur l'aspect moyenne oui, mais pas sur le reste. Dans le premier cas tu considères qu'il y a deux populations et tu cherches à savoir si ces deux populations peuvent avoir des moyennes identiques. Dans le deuxième cas il n'y a qu'une seule population, celle des différences. Donc les deux hypothèses ne sont pas identiques du tout. Dans un cas tu as mu1 = mu2 et dans l'autre cas tu as mud = 0 (mu des différences).
Tout ça va jouer sur le reste des paramètres notamment sur la variance. Dans le premier cas tu estimes la variance commune aux deux populations alors que dans le deuxième cas tu estimes la variance de la différence des moyennes. Si on reprend l'exemple, dans le premier cas tu as 30 valeurs alors que dans le second cas tu n'en as que 15, dans le premier cas l'écart-type commun estimé est de 0.7670267 avec 30-2 degrés de liberté alors que dans le deuxième cas c'est l'écart-type des 15 différences soit 0.08591873.
Alors même si mécaniquement la différence des moyennes et la moyenne des différences c'est la même chose, après ce ne sont pas du tout les mêmes choses car dans un cas tu as deux populations et dans l'autre cas une seule, donc des variances, ddl et t observés et autre p-value très différentes. D'ailleurs si c'était la même chose il n'y aurait qu'un seul test :-)

Tout ça pour dire que l'on peut bien faire n'importe quel test du moment qu'on est conscient du test que l'on fait, des conditions d'utilisation de ces tests (ex. indépendances des données) et des conséquences si certaines conditions ne sont pas remplies (ex. perte de puissance).

Oui, droppy, j'ai bien compris (je sais ce qu'est un test t sur données appariées ou non et comment ça se calcule).

Ici cependant, il n'y a virtuellement plus d’appariement, et on perd la corrélation avant/après. Mais bon, je pense qu'on a fait le tour de la discussion, qui ne semble plus progresser.

Cordialement, Eric.

Eric Wajnberg a écrit:Oui, droppy, j'ai bien compris (je sais ce qu'est un test t sur données appariées ou non et comment ça se calcule).

Ici cependant, il n'y a virtuellement plus d’appariement, et on perd la corrélation avant/après. Mais bon, je pense qu'on a fait le tour de la discussion, qui ne semble plus progresser.

Cordialement, Eric.

Je sais que tu sais ce qu'est un test t c'est bien pour ça que je suis surpris de ce postulat qui consisterait a dire que parce qu'on ne peut pas prendre en compte un phénomène on fait comme s'il n'existait pas.

Pour le reste je partage ton avis on a fait le tour de la question à l'auteur du post de faire son test t en connaissance de cause.

cdlt

droopy a écrit: je suis surpris de ce postulat qui consisterait a dire que parce qu'on ne peut pas prendre en compte un phénomène on fait comme s'il n'existait pas.

Mon commentaire était plus technique que ça. Je dis que le brassage des appariements possibles (car c'est bien ce qui se passe ici et c'est pour cela que je prends l'exemple du bootstrap) fait qu'on perd la corrélation avant/après, ce qui revient à faire des tests sur données indépendantes. Je peux dire ceci autrement : On peut très bien faire un test t sur données appariées avec une ANOVA sur données répétées en donnant explicitement (ou en estimant) la matrice de corrélation sous-jacente. Dans le cas présent, si on fait ceci, on va estimer une matrice de corrélation qui sera une matrice unité, ce qui revient au même que faire un test sur données indépendantes. Je ne dis que cela.

Cordialement, Eric.