Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

Le Deal du moment : -15%
(Adhérents Fnac) LEGO® Star Wars™ ...
Voir le deal
552.49 €

Comparer 2 tests qualitatifs

3 participants

Aller en bas

Comparer 2 tests qualitatifs Empty Comparer 2 tests qualitatifs

Message par gaodri Jeu 4 Oct 2012 - 8:14

Bonjour,

Je cherche à comparer 2 examens d'imagerie médicale. Il existe un examen de référence et un examen innovant. J'ai effectué 10 mesures avec chaque examen sur 10 territoires différents sur 16 patients. Donc pour chaque territoire, j'ai une mesure avec l'examen de référence et une mesure avec l'examen innovant. Les résultats de l'examens de référence sont notés : bon, mauvais, intermédiaire; idem pour les résultats de l'examen innovant. Quel test statistique faire pour évaluer la fiabilité de l'examen innovant? J'ai effectué un test de Cochran-Mantel-Haenszel mais je ne sais pas si c'est correct. Est-il possible également de définir un seuil à partir duquel on considère l'examen innovant comme fiable? Car je peux définir un certain pourcentage de mesures bien classées et un de mesures mal classées. Est-ce que cette donnée peut être interprétée?

En vous remerciant

Gaodri

gaodri

Nombre de messages : 6
Date d'inscription : 03/10/2012

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gg Dim 7 Oct 2012 - 14:09

Bonjour.

Je n'ai pas de réponse à priori, mais juste une remarque : Pour évaluer la fiabilité du nouvel examen, le comparer à un ancien paraît une idée malsaine; à moins que l'ancien examen donne 100 % de fiabilité (aucun faux positif ni faux négatifs). Dans ce dernier cas, c'est facile : Si les deux examens donnent les mêmes résultats, le nouveau est presque aussi fiable que l'ancien (jusqu'à preuve du contraire).

Cordialement.


Dernière édition par gg le Dim 7 Oct 2012 - 20:28, édité 1 fois

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gaodri Dim 7 Oct 2012 - 18:22

Bonjour,

Je suis tout à fait d'accord avec la remarque. Cependant il ne s'agit pas de rechercher la supériorité du nouvel examen par rapport à l'autre pour effectuer le diagnostic, il s'agit de montrer qu'il est aussi fiable. En effet, l'intérêt de ce nouvel examen réside dans le fait qu'il est beaucoup moins invasif que l'ancien.

Cordialement

gaodri

Nombre de messages : 6
Date d'inscription : 03/10/2012

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gg Dim 7 Oct 2012 - 20:36

Mais ma remarque ne demandait pas une supériorité ! Même pour prouver que le nouvel examen n'est pas particulièrement plus mauvais que l'ancien, le comparer à l'ancien est faire une erreur de méthode.
Quand on teste des nouveaux médicaments, on leur demande d'être au moins aussi efficaces que les précédents, mais pas de soigner exactement les mêmes malades.
Sinon, on édicte en règle que la norme est l'ancien examen.

Ce qui ne change pas l'intérêt de décider qu'étant moins invasif (ce que j'avais imaginé dès le début) et donnant de bons résultats quand l'ancien est très utile, il sera utilisé en priorité.

mais comme je n'ai pas de conseil statistique utile, je m'arrête là.

Cordialement.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par c@ssoulet Lun 8 Oct 2012 - 7:45

Normalement, la fiabilité d'un examen diagnostique s'évalue en étudiant les courbes ROC (évaluation de la valeur prédictive positive de l'examen, sensibilité, spécificité... etc). On peut comparer les courbes ROC entre elles, ce qui semblerait répondre à ta question

http://www.adscience.fr/uploads/ckfiles/files/html_files/StatEL/statel_courbe_ROC.htm

c@ssoulet

Nombre de messages : 925
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gaodri Mar 9 Oct 2012 - 9:01

Bonjour, merci pour ces 2 avis très utiles.
Concernant les courbes ROC, elles semblent destinées à évaluer la fiabilité diagnostique et il faut pour cela connaitre les malades. Dans mon cas précis, je ne connais pas les malades. Pour l'instant les malades sont définis selon le résultat de l'ancien examen qui fait référence (même s'il n'a pas une sensibilité et une spécificité de 100%). Mais en ce qui concerne cette étude, je ne cherche pas à savoir si le nouvel examen est plus sensible et spécifique que l'ancien, je cherche à savoir si il classe les patients dans les même catégories que l'ancien.
L'ancien examen classe les malades en A, B et C, le nouvel examen les classe en 1, 2 et 3. Je veux savoir si les patients classés A sont classés 1, B->2, C->3. Et si c'est pas du 100%, est-il possible de déterminer la sensibilité et la spécificité du nouvel examen par rapport à l'ancien? C'est très facile à faire avec un tableau de contingence à 4 cases, mais je ne sais pas comment faire pour un tableau de contingence à 9 cases... Est-ce possible?

@gg : "mais comme je n'ai pas de conseil statistique utile, je m'arrête là."
Je suis désolé que mon message ai pu vous vexer, je suis un néophyte en statistiques et ne comprend pas toujours les subtilités. Si j'édicte l'ancien examen comme étant la norme, comment m'y prendre pour faire l'analyse?

En vous remerciant.

Cordialement

gaodri

Nombre de messages : 6
Date d'inscription : 03/10/2012

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par c@ssoulet Mar 9 Oct 2012 - 9:14

Pour déterminer la sensibilité et la spécificité, par définition, il faut avoir pour chaque patient le résultat du test et savoir si il est malade ou pas.

Si tu ne "connais pas les malades", c'est plié.

c@ssoulet

Nombre de messages : 925
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gg Mar 9 Oct 2012 - 11:49

Gaodri,

je ne suis pas vexé. Je constatais simplement un fait, dû à ma formation autodidacte, donc très incomplète.

Si tu prends l'ancien examen comme la norme, il ne te reste plus qu'à regarder si tu obtiens toujours les mêmes résultats (classements systématiquement identiques). Si tu n'obtiens pas ça, ta nouvelle méthode est fautive de temps en temps, donc pas fiable. N'est-ce pas évident ?

Comme quoi employer une mauvaise méthode parce qu'on n'a qu'un mauvais recensement de données est une mauvaise idée. Et il n'y a pas de miracles !

Cordialement.

NB : J'avais finalement déjà tout dit dans mon premier message.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gaodri Mar 9 Oct 2012 - 18:32

Finalement, j'ai comparé la distribution observé (Bien classés/mal classés) à une distribution théorique de 100% de bien classés en cas d'examen fiable (par rapport à l'examen de référence) et j'ai effectué un test de Fisher. Pensez vous que ce puisse être une méthode acceptable?
@gg : ça ne me semble pas évident non...

Cordialement

gaodri

Nombre de messages : 6
Date d'inscription : 03/10/2012

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gg Mar 9 Oct 2012 - 19:38

"@gg : ça ne me semble pas évident non..."
Ben alors qu'appelles-tu un examen fiable ? Tu m'inquiètes fortement sur ce que font les examens d'imagerie.

Je n'ai pas compris ce que tu faisais, tu parles du test exact de Fischer ?

Cordialement.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gaodri Mar 9 Oct 2012 - 21:36

Oui un test exact de Fisher...
"Si tu n'obtiens pas ça, ta nouvelle méthode est fautive de temps en temps, donc pas fiable" : tout se joue dans le "de temps en temps". C'est justement ce que je cherche à quantifier! A partir de combien peut-on dire que le nouvel examen n'est pas fiable par rapport à l'autre?

Cordialement

gaodri

Nombre de messages : 6
Date d'inscription : 03/10/2012

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par c@ssoulet Mer 10 Oct 2012 - 6:33

La tolérance depend des consequences cliniques d'un faux diagnostic. Elle peut être de 0 dans le cas caricatural ou un diagnostic bien posé entraine la guérison et un faux diagnostic entraine la mort.


c@ssoulet

Nombre de messages : 925
Date d'inscription : 05/05/2008

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par gg Mer 10 Oct 2012 - 14:33

Bonjour.

A partir de combien peut-on dire que le nouvel examen n'est pas fiable par rapport à l'autre?
Cette question ne concerne pas les statistiques.

Cordialement.

gg

Nombre de messages : 2174
Date d'inscription : 10/01/2011

Revenir en haut Aller en bas

Comparer 2 tests qualitatifs Empty Re: Comparer 2 tests qualitatifs

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut


 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum