Protocole d'appariement échoué : comment se retourner ?

Bonjour à tous,

Je viens solliciter vos lumières sur un cas qui fait beaucoup parlé parmi mes collègues
Je compte sur vous stp ! Merci par avance pour vos réponses

Nous avons lancé une étude dans un établissement scolaire auprès de jeunes qui bénéficient d'un programme pédagogique particulier tout au long de l'année. Ces élèves ont été interrogés par questionnaire en amont (avant début du dispositif) et en aval (une fois celui-ci terminé). L'idée étant d'observer d'éventuels changements de perception.

Les jeunes ont chacun un identifiant unique qui nous permet ainsi d'apparier leurs réponses (amont-aval).
Notre protocole d'analyse est donc prévu à la base sur un échantillon apparié.
Pour rappel cela signifie dans la pratique que les variables sont doublées (T0 et T1) dans la base de données.

Mais le hic c'est qu'après appariement des données, notre échantillon n'est pas représentatif.
Pourquoi ? Parce que des jeunes en amont n'ont pas répondu en aval et inversement.

Nous avons décidé de modifier notre protocole d'analyse en conséquence et de mener un amont-aval sans appariement.
Car notre représentativité en amont et en aval est bonne (c'est rageant, mais on échappe tout de même au pire).
Nos échantillons deviennent donc INDEPENDANTS.

Mais alors comment traiter les individus pour qui nous avons les réponses en amont et en aval ?

1) Le jeune qui a répondu en amont et en aval est considéré comme deux répondants ≠
Les variables ne sont plus doublées (T0 et T1) mais on garde uniquement T.
Par contre il y a un groupe de répondant Amont (R0 admettons) et un groupe de répondants aval (R1).
On prend en compte ici toutes les observations.

2) L'option 1 pose problème car lancer un test d'indépendance alors que des répondants ont répondu en amont et en aval
va biaiser les résultats ???
Il est décidé alors d'affecter aléatoirement les jeunes qui ont répondu en amont au groupe R0 ou R1.
Dans ce cas on a moins d'observations.

Bon que pensez-vous de cela ?
N'hésitez pas à me demander plus de précisions si vous trouvez que je ne suis pas clair.
C'est vraiment pas facile d'expliquer cela sans un tableau blanc
Merci encore pour vos retours et bonne soirée !

Bonjour,

ça semble n'être vraiment pas idéal quelque soit la solution que tu adoptes.

Si tu conserves un mixte de données indépendantes et de données appariées, alors tes données ne sont ni totalement indépendantes, ni totalement appariées ce qui me se semble être la moins bonne option.

Soit tu as assez de données et tu ne prends que les individus pour lesquels tu as les données avant-après, soit tu n'as pas assez de données et tu fais en sorte d'avoir des données indépendantes. Dans le deuxième cas ça peut vouloir dire pour les individus qui ont les données avant-après de faire un tirage aléatoire et de ne conserver qu'une des deux données.

Faire un avant-après avec des données indépendantes, tu vas forcément perdre en puissance et en intérêt et il ne faudra pas perdre de vue cette réalité au moment de l'interprétation des résultats.

droopy

Combien de variables sont-elles analysées et de quels types (facteurs ou variables numériques) ?
Deux suggestions : 1) s'il y a suffisamment d'individus, va voir du côté du test de McNemar (1 variable) ou Q de Cochran (plus d'une) ; 2) en cas de variables numériques, remplace-les par leur rang et analyse les rangs.

La seule solution est de présenter les resultats des sujets qui ont répondu aux 2 évaluations.

Si tu ne fais pas ca tes données seront imprésentables. Ce genre d'étude se présente toujours pareil : 1/description transversale (profil des sujets à T0) 2/etude longitudinale (evolution). Avec l'interprétation que tu proposes la population décrite à T0 ne sera pas la même que la population décrite en longitudinal.

J'ai travaillé sur quelques évaluations d'enseignement. Du premier coup d'oeil je peux te dire qu'évaluer un truc pédagogique sur un seul centre est dejà hyper critiquable, et que faire en plus un avant/apres sans groupe contrôle rend les conclusions de ce travail plus que fragiles. Alors si en plus il y a beaucoup de non répondants et que tu ne tiens pas compte de l'appariement dans ton analyse, ca devient carrément sans interêt

Il est impossible de rattraper des erreurs de conception et de ré"alisation d'une évaluation par un coup de baguette magique mathématique. Personnellement, si je devais aider quelqu'un à rattraper le coup sur ce truc, le seul conseil que je lui donnerais est de se contenter d'être descriptif et de ne pas faire de stats

Bonjour,
As-tu un groupe controle (qui n'a pas recu l'intervention?)
Si oui, tu pourrais eventuellement utiliser un modele a effets aleatoires, qui permet de gerer la presence de donnees manquantes tout en tenant compte de la correlation intra-sujet.
Ce serait plus sage, cependendant, de faire du descriptif
Ayana

Hello tout le monde,

D'abord merci pour votre réactivité et vos analyses.
C'est très agréable de voir que ce sujet intéresse.

Ensuite, vous l'avez compris, je compose avec ce que j'ai et je suis très loin de la situation idéale ...
Dans la théorie c'est toujours très clair mais quand on passe à la pratique et que les conditions nous échappent alors là comment compose-t-on pour réduire le risque de se tromper ? La statistique est en effet à prendre avec des pincettes.

@droopy
Comme je le disais, je n'ai malheureusement pas suffisamment de données appariées pour conserver mon protocole initial. Mon échantillon en prend un coup et n'est plus représentatif à la fin. La marge d'erreur dépasse les 10% et certains établissements scolaires sont bien sous-représentés.
Donc si je te suis bien, tu pencherais pour l'option 2.
Et bien entendu, tu as tout à fait raison, en devenant un amont-aval avec données indépendantes mes analyses seront moins puissantes, mais c'est toujours mieux que rien

@Laurent Aubry
Merci pour ton aide.
Toutefois ma préoccupation ne se situe pas à ce niveau.
Je n'utiliserai pas les tests de Mcnemar (2x2), Bowker (KxK), Cochran (plus de 2 variables) ou encore de rangs signés de Wilcoxon si mes échantillons sont indépendants

@c@ssoulet
Merci. Bon tu m'a un peu cassé le moral ahaha
Je suis parfaitement conscient que l'enquête comporte de nombreuses limites. Le programme pédagogique est lancé dans une 20aine d'établissements (REP ou REP+), sur des jeunes de niveau 3ème.
C'est la première évaluation pour le programme qui est pilote, l'idée est de reproduire l'expérience de façon plus rigoureuse dans les années à venir une fois des financements plus conséquents obtenus concernant l'évaluation. Malheureusement je compose avec des contraintes contradictoires tous les jours, dans les faits on est souvent loin des protocoles scientifiques idéaux
Bref, je vous trouve un peu dur avec l'amont-aval sans groupe témoin.
C'est pas le graal, certes, mais ça fait le taff quand on a peu de ressources et qu'on souhaite obtenir une première perspective (en étant bien entendu très transparents sur les conclusions "fragiles"). Et surtout, il est particulièrement difficile de construire un groupe témoin représentatif dans notre contexte.
En tout cas, si les échantillons amont et aval sont indépendamment représentatifs de leur population, il me semble intéressant d'opérer des croisements et cela même s'il ne s'agit pas des même répondants...

@Ayana
Non, je n'ai pas groupe de contrôle
Merci pour ton conseil, cela aurait pu être utile. Je vois l'idée mais je pense que je n'aurais pas su comment procéder.
Tu pencherais donc toi aussi pour une analyse descriptive.

Merci à tous, je vais tenter une affectation aléatoire des réponses tout de même et lancer des tests sur échantillon indépendant. Mais en mettant de grosses pincettes. C'est tellement frustrant d'être dans cette situation !

Toutefois, je me permets de vous questionner davantage. Peut-être que la réponse se trouve dans la façon dont sont construits les tests statistiques indépendants et appariés. Dans ma façon de voir les choses, je pense, et encore peut-être à tord (j'ai besoin d'être challengé éhéh), que d'une part les tests appariés vont contrôler l'évolution des réponses des individus un à un (ce qui en fait des tests plus puissants lorsqu'il s'agit de faire du longitudinal) alors que les tests indépendants, quant à eux, vont observer les différences globales (au niveau de la distribution et non au niveau de l'individu : moyenne, médiane, différences de proportions, etc.). De ce fait, je me disais que garder les répondants appariés parmi les répondants amont et aval n'affecterait pas les tests statistiques indépendants. Vous voyez ?

Là, je suis a peu près sûr que vous ne m'avez pas suivi ahaha
Quelqu'un pour rebondir là-dessus ?

Merci encore et bonne fin de journée !

Corben

Bonjour.

Les tests de comparaison d'échantillons sont essentiellement de deux types : échantillons indépendants (on compare deux échantillons provenant de populations ou sous-populations distinctes) et échantillons appariés (double mesure sur le même échantillon d'individus). Comme ce sont des situations différentes, on ne peut pas dire qu'un test est plus puissant qu'un autre. Et de plus, l'idée n'est pas la même, même si, par exemple, on compare dans les deux cas des moyennes. Dans le premier cas, on teste une différence des moyennes, dans le deuxième une moyenne des différences (ce qui n'a pas de sens dans le premier cas).
Donc appliquer les tests de comparaison d'échantillons à une situation où les valeurs sont en partie appariées est à faire avec la plus grande prudence : On ne sait plus ce que signifient les résultats.

Il me semble que, même si l'échantillon n'est plus représentatif, un test apparié sur la population qui le permet donnera de sains renseignements. En dehors de cela, je ne vois pas de bonne méthode.

Cordialement.

Quand tu fais un avant/apres sans groupe controle il est impossible de différencier un vrai effet de l'effet du temps qui passe, de l'effet des biais potentiels (et ils sont nombreux), ou des effets purements mathématiques type régression à la moyenne.

Si tu as une différence statistique significative, ca signifie que la différence mesurée n'est pas due au hasard. Ca ne signifie pas que la nouvelle méthode pédagogique est la cause de cette différence.

Un lien de causalité ne peut être démontré qu'en appliquant un cadre méthodologique approprié (a minima groupe contrôle et allocation aléatoire). En clair il est impossible de démontrer mathématiquement un lien de causalité sur une étude qui n'a pas été construite pour ca. On peut apporter un faisceau d'arguments dans la discussion mais on ne peut pas le démontrer stricto senso.

Donc au final toute la rédaction de ton travail reposera un peu sur quelques stats, et beaucoup sur les arguments que tu vas apporter pour soutenir un lien de causalité.

Lorsque tu argumenteras sur un éventuel lien de causalité, le fait d'avoir travaillé sur données poolées non appariées fragillisera considérablement ton raisonnement, déjà pas bien solide.

C'est pour ca que je te dis que tu ne pars pas dans la bonne direction, même si c'est un peu désagréable. Quand on réfléchit à la stratégie d'exploitation d'une base de données, il faut aller au delà du raisonnement "quel test utiliser sur quelles données" et penser à la rédaction des conclusions de l'étude.