Validité d'un score

Bonjour

Tout d'abord, merci beaucoup pour ce forum, j'y apprends plein de trucs, mais j'avoue que j'ai encore un peu de mal avec le lexique des statistiques. Mais surtout j'ai besoin d'un coup de vos lumières pour savoir quel(s) test(s) à appliquer pour permettre d'établir un score médical.

Je m'explique : je voudrais essayer de mettre en place un score qui permettrait de déterminer la présence ou non d'une pathologie. Enfin, je voudrais surtout savoir si ce score peut etre utilisé par tous les thérapeutes, qui en tireront les memes conclusions.
Dans la pratique, 2 thérapeutes evaluent un patient en meme temps, établissent le score dans leur coin, puis le score est comparé : quel(s) test(s) ai je besoin pour cette première étape.
Et après, et surtout, j'aimerais pouvoir comparé chaque différence de score avec plusieurs patients, afin de vérifier que le score est applicable peu importe le patient, peu importe le thérapeute.

Je m'excuse par avance, ou plus par retard, car je n'ai pas encore tout le bon vocabulaire.
Mais je vous remercie par avance de vos réponse

Bonjour,

Je ne suis pas là pour répondre à la question mais parce que le sujet m'intéresse.
Dans cette situation si on compare deux évaluations faites par 2 personnes différentes sur le même échantillon d'individus, doit-on utiliser un test de comparaison pour données "Appariées" ? (Spearman/Pearson non ?)

Merci

Bonjour Zezima.

A priori, on fait la même analyse sur les mêmes sujets, l'appariement est évident. D'ailleurs, on s'intéresse essentiellement aux différences pour des individus.

Par contre Mostradevenise ne semble pas vraiment étudier un échantillon, mais seulement un seul individu, ce qui sort du domaine des statistiques.

Si on étudie un échantillon suffisamment grand, il y a probablement un mélange entre les variations dues aux médecins et celles dues aux patients. Sans oublier que le score peut donner des résultats justes, mais aussi des faux positifs et des faux négatifs; donc qu'il faut ajouter un caractère qualitatif supplémentaire : maladie ou non.

Cordialement.

Merci gg

les mots clés à chercher sont sensibilité, prévalence, valeur prédictive, courbes ROC ...

Fais gaffe à travailler sur les bonnes hypothèses. C'est pas parce que 2 médecins sortent le même score que ce score est juste (= qu'il a une valeur prédictive acceptable)

Si tu veux valider un score, n'oublie pas qu'il faut également inclure des non malades dans l'échantillon. C'est bien de montrer qu'un score predit correctement une maladie, mais il faut s'assurer également de l'absence de faux positifs....

Bonjour

Merci pour toutes vos réponses, cela m'éclaire énormément

Pour gg, je voudrais étudier un échantillon suffisant pour l"étude et l'établissement du score. Après, en effet, il y aura surement des variations entre thérapeute et avec différents patient, d'où l'interet de la création du score, pour éviter au maximum les variations et avoir un langage commun

Pour c@ssoulet

Fais gaffe à travailler sur les bonnes hypothèses. C'est pas parce que 2 médecins sortent le même score que ce score est juste (= qu'il a une valeur prédictive acceptable)

Je n'y avais pas pensé et merci de la réflexion. Mais si differents thérapeutes ont le meme score (reproductibilité inter examinateur), cela ne suffirait pas à valider le score ?

Et le principal soucis, c'est que je n'ai pas de gold standard affirmant la pathologie, donc aucun moyen de dire que la pathologie est effectivement présente, ou non, donc je ne peux pas vérifier l'absence de faux positif

Je vais me renseigner sur les mots clefs.

En vous remerciant tous

Mais si différents thérapeutes ont le meme score (reproductibilité inter examinateur), cela ne suffirait pas à valider le score ?

Non car un même score peut toujours avoir différentes origines suivant le thérapeute qui le pratique. Comme toute les échelles de mesure, il y a une part de subjectivité que tu ne pourras jamais standardiser. Il faut donc vérifier à quel point elle est présente dans le score.
Pour les faux positifs, ne peux tu pas prendre un lot témoin de patient supposé sains afin de les distribuer aléatoirement entre les différents thérapeutes réalisant le test?
Avec les indicateurs dont c@ssoulet a parlé tu pourra évaluer la pertinence de ton score suivant sa variabilité intra et inter thérapeute.

nik

mostradevenise a écrit:

Pour c@ssoulet

Fais gaffe à travailler sur les bonnes hypothèses. C'est pas parce que 2 médecins sortent le même score que ce score est juste (= qu'il a une valeur prédictive acceptable)

Je n'y avais pas pensé et merci de la réflexion. Mais si differents thérapeutes ont le meme score (reproductibilité inter examinateur), cela ne suffirait pas à valider le score ?

Quand tu te poses ce genre de questions, pense aux situations caricaturales: imagine un score complètement pourri qui aura pour résultat 5 quel que soit le patient. Ce score n'a donc aucun interet et ne prédit rien du tout. Mais tous les thérapeutes sortiront le même score : 5. Donc reproductibilité parfaite.

Quand on veut valider un score, il faut au minimum vérifier
- que le score est corrélé à la présence de la pathologie, intensité des symptomes, qualité de vie .. bref, en fonction de ce qu'il est sensé évaluer
- que la reproductibilité inter evaluateur est acceptable (bien qu'on puisse valider un score très variable sur ce point, on peut alors s'en servir en prévoyant une procédure d'interprétation centralisée)
- que la reproductibilité intra-évaluateur soit acceptable (procédure de test-retest)

Si le score est sensé évaluer la présence d'une pathologie, c'est difficile d'imaginer en faire quelque chose si il est impossible d'estimer sa sensibilité et sa spécificité.

Merci Nik et Cassoulet pour vos réponses

En effet, pour les faux-positifs, je pourrais prendre un groupe dit sain, mais dans ce lot je risque d'avoir des personnes touchées par la pathologie. Pour être sur qu'ils n'ont pas la pathologie, il faudrait qu'il existe un score... celui que j'essaie de mettre en place
En gros, il me manque le gold stantard qui me permettra d'évaluer ce score si je comprends bien.

Et pour la reproductibilité intra-évaluateur, je ne peux pas faire de procédure de test-retest, car le test étant aussi un traitement, je modifie automatiquement le retest.

Je crois que je suis dans une impasse. Mais merci de m'avoir aiguillé, je comprends pourquoi ce que je veux mettre en place ne fonctionne pas.