Comment calculer un seuil de significativité

Bonjour,

Je me suis lancée, malgré mon incompétence dans le domaine, dans une analyse statistique pour mon mémoire de master.

Je compare les différences de comportement entre les individus dont l'intérêt pour la vulgarisation scientifique (VS) précède leur découverte des youtubers scientifiques (pré-youtube), et ceux dont l'intérêt pour la VS succède à la découverte des youtubers scientifiques (post-youtube).

Voici un exemple, où j'observe pour chaque catégorie la proportion d'individus vérifiant toujours, souvent, rarement ou jamais la légitimité d'un contenu vidéo de VS :

vérif légitimité
POST YOUTUBE : 400 individus - PRÉ YOUTUBE : 780 individus
Toujours : 4,25% - 11,15%
Souvent : 34,00% - 41,92%
Rarement : 56,75% - 42,31%
Jamais : 5,00% - 4,62%

Comment vérifier que les différences entre ces pourcentages n'est pas due au hasard ?

Merci d'avance pour votre aide précieuse, et de votre tolérance envers ma regrettable nullité dans ce domaine...  

Ju

Bonjour, c'est un sujet très intéressant

Concernant le questionnaire
Fais attention à plusieurs éléments, tout d'abord le nombre d'individus qui ont répondu à ton questionnaire, il a l'air assez important mais potentiellement pas suffisant (les enquêtes de sondage se font en général sur 1000-1500 individus, mais tout dépend de ce que l'on veut mettre en évidence donc pour le moment difficile de répondre).
Ensuite, la population qui a répondu à ton questionnaire, si tu veux conclure sur l'impact des VS sur la vérification des informations des vidéos, tu ne pourras conclure que sur la population que tu as visé (exemple si tu as fais le questionnaire à Bourg-la-reine, et que tu n'as sondé que des hommes, tu ne peux pas conclure sur tous les français).
Puis il faut également faire attention à la subjectivité des modalités de réponse du questionnaire qui peuvent biaiser la façon de répondre des sondés (toujours, souvent, rarement, jamais). "Toujours" et "jamais" sont objectifs mais "souvent" et "rarement" un peu moins.

Je trouve ça intéressant le fait que tu aies choisi 4 modalités de réponse à ta question car cela permet de trancher, un sondé va avoir tendance en france à répondre au milieu (exemple "plutôt oui" et "plutôt non" auront plus de succès en général que "totalement" ou "pas du tout"). Cela peut également te permettre de regrouper certaines classes (par exemple "toujours" et "souvent" ensemble; "rarement" et "jamais" ensemble). Tout dépend de ton objectif auquel tu veux répondre.

Tout cela n'a rien à voir avec la question que tu poses mais ce sont des petits indices pour que tu te rendes compte qu'il y a des potentiels biais lorsqu'on fait une enquête.

Concernant l'analyse
Tu t'intéresse aux différences de proportions dans chaque classe, tu peux tout d'abord faire une représentation graphique de tes résultats, sous forme de barplot afin de te rendre compte des différences au niveau des réponses (Excel->insertion->colonne->histogramme groupé avec en abscisse tes modalités et en ordonnée tes proportions).

Si tu as besoin de faire un test statistique pour montrer une différence de proportions, tu peux faire un test du chi2.

Bonjour Zezima,

Merci beaucoup pour les commentaires relatifs au questionnaire    celui-ci présente effectivement de nombreux biais... que je tâcherais de relever lors de la démonstration de ma méthode.

C'est justement cette affaire de chi2 qui me turlupine. Comment calculer cette chose étrange ? Est-ce possible, à partir des données fournies plus haut, d'obtenir un exemple que je puisse reproduire avec d'autres variables (j'ignore si variable est le bon mot) ? Ou manque t-il des infos que je suis susceptible de fournir ?

Merci mille fois pour la précédente réponse, et d'avance pour celle à venir

Ton objectif semble être : les viewers habitués à la VS ont-ils un comportement différent de ceux n'en ayant pas lorsqu'ils regardent une vidéo de VS ? (et on notera que le fait d'être habitué à la VS est encore une notion abstraite qu'il faut bien définir)

Tu as deux variables :
-Niveau d'assiduité à vérifier les informations ("tjrs","souvent",...) VAR CATEGORIELLE
-Groupe ("PRE", "POST") VAR CATEGORIELLE

Le graphique va te donner des indices que tu pourras en quelques sortes confirmer à l'aide du test.

Avant de faire quelque test que ce soit, il faut que tu définisses en détail ce que tu veux mettre en avant comme différence.
Ne fais pas attention à mon post avant édition, j'ai écrit des bêtises.

ps : quel logiciel utilises-tu

Tu peux regrouper les catégories "toujours" et "souvent" ainsi que "rarement" et "jamais" ensemble et faire un test du chi2 pour savoir si tes proportions de réponses sont significativement différentes dans tes groupes.

Tu peux le faire sous le logiciel R qui est gratuit.