Petit problème de classification statistique

Bonjour

Dans le cadre de mon travail je dois faire effectuer des notations en aveugle sur des odeurs d'échantillons.
Pour détailler un peu j'ai un flux liquide qui subit un traitement pour en retirer l'odeur.
Je prend un échantillon traité (1), et je demande à un panel de "renifleurs" de le comparer avec 2 autres échantillons connus : Un échantillon avant traitement dilué à 50% (2), et un échantillon avant traitement dilué à 10% dans de l'eau propre (3).
La notation s'effectue par classes: Moins bon que l'échantillon 2, égal à 2, entre 2 et 3, égal à 3 et meilleur que 3.
Parallèlement j'ajoute un échantillon "témoin", de nature inconnue pour les renifleurs, avec l'échantillon à tester (un échantillon 2 ou 3).

Le but de la manoeuvre est de savoir si le traitement fonctionne, mais surtout si la mesure effectuée par les "testeurs" est fiable (note ils correctement l'échantillon témoin ?).

Ma question est la suivante: Comment déterminer statistiquement la fiabilité d'un renifleur ?

Merci d'avance pour votre aide

Bonsoir.

Il est peut-être difficile de faire autrement, mais faire faire des comparaisons par des "renifleurs" dont on ne connaît pas la fiabilité est probablement désastreux. Que feras-tu de ton expérience s'ils se révèlent tous "non fiables" ?
Pour savoir s'ils sont fiables, il faut les tester. On peut voir deux choses : la reproductibilité (le fait qu'ils déterminent le même résultat face à la même odeur - Déjà peu probable, sauf s'ils sont entrainés); la validité (Le fait que le résultat est le bon - dépend fortement de ce qu'on est capable de mesurer). Les deux se testent ensemble, en faisant répéter des analyses par les "renifleurs".

Cordialement.

Je ne comprends pas très bien ces histoires de témions dilués + 1 témoin inconnu. Mais en tout cas, tu ne peux pas juger à la fois la fiabilité du test (ca revient à ca finalement) et l'efficacité du test dans le même plan d'expérience.

Idéalement, tu aurais du déterminer dans un premier temps la fiabilité en leur faisant renifler une gamme témoin, puis tester dans un second temps l'efficacité de ton produit en incluant uniquement les "testeurs fiables".

Si tu es coincée, ce qui est sur c'est que tu ne peux pas inclure ton "échantillon traité", par définition inconnu, à ton test de fiabilité (qui doit reposer sur une "gamme étalon" connue et calibrée). Donc à la limite, tu peux essayer de regarder entre les 2 ou 3 échantillons connus. Mais c'est très tiré par les cheveux et ca restera méthodologiquement extremement critiquable.

Bonjour

Je n'avais pas vu que j'avais des réponses à ma question; je vais essayer de vous détailler un peu mieux le mode opératoire car je pense que je suis resté trop vague. Surtout que j'ai légèrement modifié l'échelle de notation.

Pour commencer les dégustateurs sont entrainés; nous travaillons dans le domaine de l'alcool, et pratiquement chaque jour certaines personnes attribuent une note de dégustation à des échantillons de la production journalière.

Toutefois la mesure que je désire mettre en place est un peu différente, car je ne peux pas utiliser les mêmes témoins habituels (l'odeur étant très différente). J'ai donc établi un témoin haut (dilué à 1 part dans 5, soit 20%) et un témoin bas (5 parts dans 5, soit 100%) à partir de dilution de mon flux initial non traité.
J'ai établi une échelle de notation de 1 à 5; 1 pour le témoin haut et 5 pour le témoin bas.
L'échantillon traité est alors comparé à ces 2 témoins pour être noté.

Pour vérifier si les notes attribuées sont pertinentes je demande également une notation sur un échantillon que je prépare à partir de dilution du flux non traité; cette dilution étant comprise entre 1 part et 5 parts dans 5 (note entre 1 et 5).

Les dégustateurs ont donc 2 échantillons à noter, sans savoir lequel est l'échantillon "test" et lequel est l'échantillon de la production.

Bien compris.

Reste que tu ne nous donnes pas le moyen de répondre à ta question, sauf de façon caricaturale : Sont fiables les testeurs qui donnent la bonne note à l'échantillon test. Et encore, s'ils ne l'ont pas fait par hasard.
Si tu es prêt à accepter un petit risque d'erreur, tu conserves seulement ceux qui donnent 95 fois sur 100 la bonne valeur.

Cordialement.

NB : les statistiques donnent des outils pour traiter des problèmes bien posés, pas des "trucs" pour obtenir miraculeusement la solution des problèmes qu'on ne maîtrise pas. Désolé !

Oui, j'avais bien compris.

Dans l'idéal il faudrait que les dégustateurs répondent juste un grand nombre de fois, sauf que ce n'est pas possible (je fais une dégustation par jour).
Mon problème est donc de déterminer une fiabilité à partir d'un pourcentage de bonnes réponses et d'un nombre total d'essais par personne (fiabilité d'un seul dégustateur). Disons qu'au total je vais peut être faire une 10aine de dégustations.
Puis par la suite de déterminer la fiabilité de la note en prenant un panel de dégustateurs (peut être en éliminant les moins fiables par exemple, je ne sais pas si je peux le faire).

Donc les statistiques ne peuvent pas t'aider.

Mais rien ne t'empêche de définir ta notion de fiabilité et de t'y tenir.

Par contre, l'idée du pourcentage de bonnes valeurs est dangereuse : Quelqu'un qui 4 fois sur 5 répond juste et la cinquième se trompe lourdement peut-il être considéré comme fiable ? Celui qui tombe juste sur les niveaux 1,3,4 et 5 mais répond 5 chaque fois que c'est 2 a de fortes chances d'avoir un pourcentage élevé de bonnes réponses. mais il n'est pas fiable. Etc.

Mais c'est ton problème. Je suis content de ne pas avoir à décider.

Cordialement

Merci de t'intéresser à mon probleme.

Est ce que je ne pourrais pas prendre en compte tous les écarts à la note de l'échantillon test et calculer un écart type pour chaque dégustateur ?

Je prend un exemple. Un dégustateur fait 10 tests, on obtient les écarts suivants: 1,1,2,0,0,1,2,1,1,0. Ce qui donne un écart type de 0.74.
Grossièrement je peux dire que le dégustateur est fiable à 95% dans une marge de +/- 1.5 ?

Désolé, je ne comprends pas.

Car les écarts qu'on peut faire sur 1 et 5 ne sont pas de même nature que ceux qu'on ferait sur 2, 3 ou 4. Une erreur de 2 sur la vraie valeur 1 dit qu'on a répondu 3. Sur la vraie valeur 3 c'est soit 1 soit 5.

D'autre part, une "marge de +/- 1.5" sur une échelle de 5, c'est 60% des valeurs !!

Si tes dégustateurs sont aussi peu fiables, il faut en changer ! Ou changer l'échelle de mesure.

Encore un problème : Tes "notes" n'ont de moyenne que si elles sont vraiment additionnables, ce qui nécessite une certaine précision. Si la note est la bonne 3 fois sur 10 seulement, il est difficile de faire des calculs avec.

Cordialement.

en effet ce n'est pas simple.
Je pense qu'il faudrait peut être que je modifie le système de notation.