Comment interpréter un résultat non significatif ?

Bonjour,

Ma question est la suivante : comment interpréter un résultat (par exemple d'une corrélation linéaire) qui est non significatif ?

Je comprend que mathématiquement cela signifie que ce résultat est potentiellement imputable au hasard (par exemple avec une p-value de 0,60 le résultat de la corrélation à 60% de chance d'être dû au hasard).

Cependant est-il possible d'aller plus loin dans l'interprétation d'un tel résultat. Par exemple peut on dire, si l'on obtient un résultat hautement non significative mais avec un coefficient corrélation faible, qu'il est possible du coup de considérer qu'une liaison forte existe quand même dans la réalité entre les variables ?

Bref, au final les résultats non significatifs sont-il "exploitables" d'une quelconque manière ou doit on les "jeter à al poubelle" ?

Merci.

Bonjour

"comment interpréter un résultat (par exemple d'une corrélation linéaire) qui est non significatif ?"
Surtout pas ainsi : "Je comprend que mathématiquement cela signifie que ce résultat est potentiellement imputable au hasard (par exemple avec une p-value de 0,60 le résultat de la corrélation à 60% de chance d'être dû au hasard). "

Avec une p-value à 60%, le test est significatif pour tout risque supérieur à 60% (risque idiot, mais c'est le début de l'interprétation).

"Significatif" veut dire qu'un test a été fait, avec le choix d'un risque (risque de rejeter H0 alors même qu'elle était parfaitement vraie).
Lorsque le test échoue (p-value inférieure au risque), on dit que le test est significatif, et on peut décider de rejeter H0. On prend un risque, mais il est connu dans le cas où on se tromperait : par exemple, au traditionnel risque 5%, on se trompe une fois sur 20 si H0 est toujours vraie (On rejette H0 à tort en moyenne une fois sur 20).
Lorsque le test réussit (p-value supérieure au risque), on ne peut pas conclure grand chose. L'hypothèse H0 peut être vraie, ou légèrement fausse, ou nettement fausse, mais on a un échantillon qui ne suffit pas à conclure.
Dans tous les cas, la p-value n'a pas de signification. D'ailleurs elle varie immédiatement si on change d'échantillon.
Alors que faire des résultats non-significatifs ? Si on avait de bonnes raison de supposer H0 vraie, on continue à y croire. Si on voulait la mettre en doute, c'est raté. mais celui qui passe un test de séropositivité (Sida) est généralement bien content si le test est négatif (non significatif). Or c'est exactement la même idée !

Cordialement.

Un test non significatif ne permet tout simplement pas de conclure. Il signifie qu'il y a un risque "trop important" que la différence que tu observes soit due au hasard.

Pourquoi le risque est il important? peut être parce qu'il n'y a "réellement" pas d'effet et que tu n'observes qu'un "artefact" dans l'échantillon que tu as étudié, peut être parce que ton échantillon est mal choisi (biais de sélection), peut être parce que l'effectif n'est pas assez important, peut être parce que le plan expérimental est mal choisi ou biaisé.... il peut y avoir plusieurs dizaines de raisons. Mais en se basant sur le seul résultat du test, tu ne peux pas savoir et tu ne peux pas aller plus loin

Bonjour,

Merci pour vos réponses qui m'ont bien éclairé. Bon je comprends mieux maintenant mais ça ne m'arrange pas...au final c'est pas toujours utile les stats

Eh oui !

de même qu'une pelle mécanique, c'est pratique quand tu as des tranchées à faire, mais pour faire du jardinage, c'est nettement moins utile ...
Par contre, dans de nombreux cas, on est content que le test soit non significatif (on l'espère même). Par exemple en contrôle industriel, car test significatif veut dire problème de non qualité, réglages à faire, production à jeter, etc.

Cordialement.

Le problème de fond est que la plupart du temps on se plonge dans les stats beaucoup trop tard.

Idéalement, un projet devrait DEBUTER par une étape de conseil méthodologique très précoce. Et ca, c'est déjà des stats. Le méthodologiste aide à formuler clairement une question, à choisir un critère d'évaluation permettant d'y répondre et surtout à définir les grandes lignes méthodologiques qui permettront d'avoir une conclusion argumentée. Petit à petit, a fur et à mesure de l'écriture du projet, le méthodologiste affine le plan d'expérience et boucle cette première partie avec un calcul d'effectif.

Si tout ca a été fait au début, à "la fin" tu es beaucoup plus à l'aise. Déjà parce que tout est pratiquement déjà écrit et qu'il suffit de rentrer les données et faire les tests prévus, mais surtout parce que tu peux conclure ET argumenter. Soit "c'est significatif" et là, le respect d'une méthodologie stricte te permet de prouver le lien de causalité entre ton résultat et l'hypothèse émise, soit "c'est pas significatif" mais là tu n'es pas complètement le bec dans l'eau. Tu exposes le plan d'expérience, tu expliques que tu t'es mis dans des conditions expérimentales (de plan d'expérience et de puissance) permettant de mettre en évidence tel écart soutenu par telles hypothéses de départ, et que malgré cette démarche tu n'es pas en mesure de conclure. Ce qui ouvre des perspectives de discussion beaucoup plus larges.

En tout cas, pour des essais cliniques qui impliquent un très gros investissement en temps, moyens et certaines exigences éthiques, cette façon de faire est incontournable.

bonjour,

merci pour vos réponses.

c@ssoulet je ne suis pas sure d'avoir tout compris, je n'ai aucune idée de ce qu'est un "plan d'expérience et de puissance" mais je suppose que ça a à voir avec le domaine médical (qui n'est pas le mien).

Suite à vos réponses je me demande s'il est correcte d'introduire une hiérarchie de "fiabilité " concernant cette fois-ci les variables significatives.

Autrement dit si j'ai une variable 1 corrélée avec une p value de 0,001 et une variable 2 corrélée avec une p value de 0,044 toutes deux sont significatives. Est-ce que pour autant je peux dire (en terme d'interprétation de ma variable dans la réalité) que ma variable 1 a plus de poids (puisqu'on se trompe moins de fois) ? Mais est-ce que cela ne risque pas d'introduire une notion de causalité (dont la corrélation ne rend pas compte) ?

Et d'ailleurs à partir de quand cette notion de causalité peut être introduite ? (Faut-il confirmer sur le terrain le processus sous-jacent ? Avoir plusieurs résultats identiques dans d'autres corpus de données ?)

Merci.

Autrement dit si j'ai une variable 1 corrélée avec une p value de 0,001 et une variable 2 corrélée avec une p value de 0,044 toutes deux sont significatives. Est-ce que pour autant je peux dire (en terme d'interprétation de ma variable dans la réalité) que ma variable 1 a plus de poids (puisqu'on se trompe moins de fois) ?

arrg surement pas ! Tu es en proba : la réponse est oui/non donc on ne classe pas les variables selon la proximité de la p-value au seuil choisi. C'est significatif ou pas, il n'y a pas de degré.