Mesurer l'effet d'un cours sur les connaissances des élèves

Bonjour.

J'ai fait cours à des infirmières (échantillon de 120 personnes ayant répondu à mon questionnaire de connaissances pré-test sur les 180 étudiants)

2 mois après j'ai refait le même questionnaire. Taux de réponse semblable, sur le même groupe.

Comment comparer mes résultats pour évaluer l'effet du cours (ou tout au moins sa compréhension) ???

Merci.

(QCM , une seule réponse valable).

Bonjour,

Peux-tu décrire ta variable ainsi que son type (score, variable continue, variable catégorielle...).
Tu n'as qu'une seule variable ?

Déjà il serait peut-être plus juste de ne garder dans ton échantillon de questionnaire, seulement les infirmières qui ont participé aux deux questionnaires.

Merci.

Je ne peux pas savoir lesquelles ont répondu..donc pas d'appariement possible.

Ce sont des catégorielles (vrai/faux) si l'on veut puisque seule une réponse était exacte par QCM.

Il y a aussi des scores (sur des séries de 4 questions ; score de 0 à 4).

Merci

Ah d'accord.
Je ne pense pas qu'il y ait besoin d'utiliser des tests statistiques.

Tu peux regrouper certaines questions qui sont censées être liées et faire des groupes/strates, potentiellement en regroupant les questions en fonction des différentes parties du cours qui sont donneés.
Tu peux comparer les proportions de bonnes réponses de chaque strate avant/après.
Tu peux comparer les proportions de bonnes réponses de chaque question avant/après.

Il peut être intéressant de regarder également le taux d'absentéisme à certains cours pour pouvoir expliquer pourquoi certains taux de bonnes réponses sont faibles (le taux d'absentéisme serait une variable de confusion).
Il peut aussi être intéressant de regarder les taux de réponses des questions abordées en début de cours en fonction de celles abordées en fin de cours, peut-être que les étudiants sont moins attentifs en fin de cours qu'en début (c'est juste des idées).
Il y a surement d'autres variables de confusion.

Aussi, si la majorité de tes réponses sont des vrai/faux, il y a 50% de chance que les réponses pour lesquelles les étudiants ont répondu au hasard soient bonnes, les scores de 0 à 4 que tu utilises sont censés effacer plus efficacement les bonnes réponses dues au hasard.

Ensuite pour le futur, ça peut toujours être plus intéressant de savoir quelles données sont répétées afin de mieux construire ton groupe à analyser. Peut-être que c'est possible de demander aux étudiants de noter un pseudo ou un numéro avec des chiffres, qui rendraient les copies anonymes mais permettraient de les retracer.

OK, merci beaucoup, et en effet j'avais prévu pour les prochaines mesures, de les faire s'identifier.

Bonne journée.

Re.

Pour la comparaison des scores , quel test utilisez-vous sur ces séries non appariées à distribution normale théoriquement (N sup à 30) ?

Merci.

Tes scores vont de 0 à 4, une distribution normale n'est pas adaptée.
Tu peux utiliser une régression logistique ordinale (il y a une hypothèse de proportionnalité des odds à respecter).

Est-ce que tu peux expliquer comment est calculé le score, donner un exemple sur une variable score ? Par exemple, comment obtenir un score de 0, de 2, de 4 à cette question ?

Bonjour et merci.

En fait il y a 4 questions, à deux choix. D'où un score de 0 (tout faux) à 4 (tout bon). J'ai naivement fait un wilcoxon...donc j'ai tort, mais je m'en doutais bien, c'est pourquoi j'ai diffusé ma question .

Pour info, médiane du score avant cours = 2 ; médiane du score après cours = 4.

J'ai déjà vu des wilcoxon sur des scores mais ce n'est pas la bonne méthode à utiliser, une régression logistique ordinale est plus adaptée.

Ensuite, pourquoi est-ce que tu veux faire des tests statistiques afin de conclure sur l'impact du cours ? Pourquoi as-tu besoin d'inférence afin de déterminer si le cours a été utile ?

Le test va prendre en compte ta taille d'échantillon, qui est censée être calculée en amont de ton étude. Le résultat du test sera dépendant de cette taille d'échantillon.
Si tu as un grand sample-size, le test va détecter facilement de faibles différences.
Si tu as un petit sample-size, tu auras du mal à détecter des différences entre les groupes.

Je comprends, mais pour publier le travail, je dois comparer, les médecins ne comprennent que ça...
J'ai 102 répondeurs avant 81 après..

poetschevleesch a écrit:Je comprends, mais pour publier le travail, je dois comparer, les médecins ne comprennent que ça...
J'ai 102 répondeurs avant  81 après..

oh, les médecins comprennent très bien qu'on publie des choses sans p. C'est des grands producteurs d'études observationnelles rétrospectives, pour lesquelles les comparaisons sont souvent très discutables et donc très souvent purement descriptives. Sans parler des articles "cas cliniques" purement descriptifs.

Mais il faut bien leur expliquer les trucs bizarres, en particulier quand ils ont l'habitude d'écrire des publis et d'en lire. Par exemple, comment ca se fait qu'en partant de 180 étudiants on n'arrive qu'à 80 réponses avant/après. Il faut faire une représentation graphique qu'on appelle un "flow chart". Et essayer de comparer le profil des répondants vs non répondants pour voir si il n'y a déjà pas un gros biais à ce niveau.

Pour les stats, le plus simple quand on espère publier est d'aller voir ce qu'on fait les autres sur le site https://www.ncbi.nlm.nih.gov/pubmed. Bien que ca ne soit pas l'ideal, ce genre de questionnaire est très souvent analysé avec du non paramétrique type wilcoxon.

En fait les relecteurs ne sont pas très pointilleux sur l'analyse stats purement dite parce que ce genre d'étude est par définition bourrée de biais de sélection et d'interprétation. Le plus caricatural étant "l'effet centre" : on sait très bien que lorsqu'on évalue de l'apprentissage (des cours magistraux ou de l'éducation thérapeutique) les résultats sont extrêmement variables d'une structure à l'autre. Méthodologiquement, pour arriver à faire un truc qui tient à peu près la route, on doit faire du multicentrique avec au moins une bonne dizaine de centres, et inclure un bon paquet de sujets "apprenants" pour contrôler à peu près le plus caricatural. Il y a pas mal d'autres facteurs confondants et biaisants, mais de toutes façons impossibles à contrôler dans ton cas.

D'où la difficulté extreme de trouver un journal qui accepte de publier des trucs éducatifs sur un seul centre. Enfin, journaux payants sans relecture mis à part bien sur.