Appliquer un test de Fisher-Exact/Montecarlo sur cette table

Bonsoir,

J'aimerais savoir selon vous si c'est potentiellement fou d'appliquer un Fisher-Exact sur une table de ce type ou si c'est viable :

                A    B       C        D     E    F
TFDIGIT    27 6191 10005 6110 818 11
tfdigit         7   15      5        0     0    0

D'après moi ça peut avoir du sens mais ça peut ne pas en avoir étant donné qu'il y a 3 cellules vides pour une modalité (tfdigit).

Merci d'avance

ps: dsl pour le format de la table, il ne prend pas en compte les espaces

Bonjour.

On peut toujours faire un calcul ... mais est-ce utile ?

Il y a une telle différence de taille entre les effectifs de TFDIGIT et ceux de tfdigits, qu'une autre analyse, assez évidente, semble préférable : Utiliser TFDIGIT comme un modèle, et regarder si cette répartition de 27 individus est probable. Les 7 pour A, l'inversion des ordres de grandeur pour B et C, l'absence d'individu pour C, tout ça rend l'idée que tfdigit est un tirage de 27 valeurs suivant le modèle TFDIGIT inacceptable.

Cordialement.

Un des moyens "d'utiliser TFDIGIT comme un modèle, et regarder si cette répartition de 27 individus est probable" est justement de tester l'indépendance des deux entrées de cette table, et donc de faire - par exemple - un test exact de Fisher. Donc oui, c'est possible et justifier de faire ce calcul, je pense.

HTH, Eric.

Merci pour vos réponses.

En réalité, si je fais ce type de test, c'est parce que je cherche à comparer la fréquence d'apparition de première lettre d'un mot dans un centre spécifique (tfdigit) en fonction de tous les centres regroupés (TFDIGIT).

Ce test va donc avoir lieu d'être une cinquantaine de fois (le nombre de centres que je veux tester avec les centres regroupés).

Donc je pense que je vais avoir un truc significatif à chaque fois quasiment... et ça n'a pas vraiment de sens malheureusement

Tu es en train de te rendre compte de la réalité de ce que je te disais dans l'autre post a propos du monitoring rbm et de l'impossibilité de detecter ce genre de choses à distance.

Laisse tomber la fréquence des premières lettres, tout ce que tu vas voir si tu vois quelque chose de pertinent c'est la différence entre les centres qui screenent au fil de l'eau à la consult (répartition à peu près aléatoire) et ceux qui screenent sur listing (pics de fréquence sur les premières et dernières lettres: si on screene seul on travaille souvent par ordre alphab, et si on screene à 2 un part du début l'autre de la fin et on se rejoint. Evidemment, les premiers patients screenes sont les premiers sollicites)

Oui, en faite j'avais mis des lettres mais il s'agit toujours des digits, du digit preference (mais au final la logique est toujours la même).

Dans tous les cas ça me semble quand même difficile à mettre en application.

Tu sais, j'ai l'impression que tu es très axé sur la fraude dans tes analyses. Franchement, je vais te cracher le morceau, c'est tellement gros que ca me désespère de te voir t'enteter dans des trucs stériles.
D'abord, comme je te le disais, la fraude c'est à mon avis hyper rare, si ce n'est pas inexistant. Du moins en France.
Ensuite, allez, je te le dis, c'est trop énorme. Quelqu'un qui veut frauder et qui n'a pas 30 de QI, il n'inventera pas les données. Il les recopiera à partir d'un autre dossier. C'est pour ca que je te disais ailleurs que la fraude ne peut être détectée que par un être humain qui se déplace sur le site et fait fonctionner sa cervelle. Si tu as réellement affaire à un cas de fraude, tu ne le verras jamais en faisant des analyses à distance: si le fraudeur n'est pas un crétin complet il te recopiera des données réelles d'un patient lambda, bien dans le "ventre mou" de la pathologie à l'étude, et en faisant des stats tu detecteras tout sauf celui là....

En faite c'est le sujet de mon stage de fin d'étude donc dans tous les cas je ne vais pas dire à mon équipe qu'il faut tout annuler.

C'est axé sur la fraude mais aussi les erreurs d'attention, les problèmes issues des machines etc...(tout le RBM CSM quoi)

Pour le coup les études dont on s'occupe sont en général assez énormes, on a parfois plus de 1000 sites dans plus de 30 pays différents à travers le monde.

Et du coup les articles "estiment" la fraude à 1%, c'est très faible en effet mais si on peut à l'aide de toutes les techniques utilisées (et dieu sait qu'il y en a beaucoup), trouver des centres vraiment atypiques et essayer de déceler l'origines des problèmes alors ça vaut le coup.

Au final, le fait que la méthode ne soit pas convainquante, comme ce que tu viens de me dire peut être assez intéressant également car je pourrais potentiellement rayer une méthode de la liste exhaustive que j'ai.

Et je ne pense pas que le fait qu'un investigateur soit malin fasse qu'il puisse contourner les règles statistiques, nous sommes formatés pour ne pas suivre les lois lorsqu'on rentre par exemple des données. C'est le cas de la loi de Benford, de la lacune de variance intra-patient/intra-centre au sein des variables (inliers).

zezima a écrit:

Et je ne pense pas que le fait qu'un investigateur soit malin fasse qu'il puisse contourner les règles statistiques, nous sommes formatés pour ne pas suivre les lois lorsqu'on rentre par exemple des données. C'est le cas de la loi de Benford, de la lacune de variance intra-patient/intra-centre au sein des variables (inliers).

Tu restes sur le mythe du tricheur qui invente.

Pourquoi frauder ? On ne fraude pas quand on fait une connerie ou une entorse au protocole dans un essai clinique. Il suffit simplement de déclarer ta connerie. Ca arrive, il y a des formulaires pour ca, tu expliques pourquoi telle mesure n'a pas été faite ou que tu as pété des tubes ou je ne sais quoi, c'est 10 min de paperasse et la prochaine fois tu fais gaffe. C'est la vie d'un centre d'essais cliniques, ca arrive, rarement mais fatalement ca arrive, il n'y a aucune raison de perdre du temps à inventer je ne sais quoi et surtout à prendre le risque d'une inspection des autorités (parce que en cas de fraude avérée ca se terminera à coup sur comme ca) pour ce genre de connerie.

En tant que professionnel des essais cliniques depuis plus de 20 ans, je ne vois qu'une raison de frauder dans la vraie vie, et elle est moche. Un vrai fraudeur "inventera" des patients virtuels pour toucher les honoraires sans s'emmerder à suivre des patients et faire le boulot. Ce qu'il faut bien comprendre c'est qu'un vrai fraudeur inventera des patients mais il n'inventera pas les données cliniques. Il prendra des dossiers existants, de patients qui collent bien au profil recherché et ne sont surtout pas atypiques, et il les recopiera. C'est beaucoup plus simple et rapide que d'inventer.

Si le fraudeur recopie des dossiers existants, les règles statistiques, la loi de benford et compagnie seront respectés

Je comprends que tu ne puisses pas rentrer dans ce genre de considerations dans un stage, mais la vérité c'est ca. Dans mes discussions avec les ARC que je connais qui bossent dans les grosses CRO internationales, les rares qui ont vécu réellement la situation de détecter une suspicions de fraude se sont basés sur des indices qui n'ont rien de mathématique, et n'étaient vérifiables que physiquement sur le site de travail du fraudeur.

Mais du coup on ne risque pas d'avoir des problèmes en tant qu'investigateur si on oublie très souvent de remplir des données ou d'avoir des entorses au règlement ? (je ne connais malheureusement pas ce milieu).

Je sais que je m'obstine beaucoup mais je veux aller au bout des choses et j'ai une vision différente donc autant qu'on fasse preuve de rétorique.

Lorsqu'un médecin va créer des patients, il va soit créer lui-même les données et là on va potentiellement s'en rendre compte à travers de multiples méthodes CSM.

"Si le fraudeur recopie des dossiers existants, les règles statistiques, la loi de benford et compagnie seront respectés "
=> Je ne suis pas du tout convaincu

Soit il va prendre des dossiers qui existent déjà et du coup à l'échelle du centre, on va avoir des variances plus faibles, des valeurs plus proches de la moyenne (des inliers), le taux de données similaire par variable au sein du centre va être plus élevé donc au final c'est potentiellement possible de détecter ce genre de chose (sans avoir simulé ou mis en évidence quoi que ce soit).

De plus, j'ai bossé pendant 4 ans avec des médecins et une très grande majorité d'entre eux n'y connait rien aux statistiques donc s'il s'avère qu'ils essaient de manipuler des données, ils feront ça de manière grossière.

Après je lis très souvent dans les articles que très peu de méthodes de CSM sont utilisées, on utilise de plus en plus de méthodes de scoring qui sont un croisement multivarié de méthodes de rbm csm univariés. Les méthodes sont très peu utilisées convenablement dans les articles et c'est surement pour cela qu'il y a des lacunes dans la détection.

Personnellement, avec mon service, nous avons fait appel à une grosse boîte de RBM CSM et elle a permis de détecter 2 centres fraudeurs dans une étude comportant 1000 centres.

La discussion m'intéresse.

Si l'investigateur travaille mal, c'est un problème clairement différent d'une fraude. Et ca, par contre, c'est pas exceptionnel. C'est pas toujours du je m'en foutisme, loin de là, et c'est souvent lié à des évènements extra-étude : si par exemple un mauvais alignement de planètes fait que ca devient très chaud dans un service, l'urgence n'est pas aux études cliniques et un médecin, c'est formaté pour traiter d'abord l'urgence, après soigner les gens qui sont moins dans l'urgence, et après faire de la recherche. Ou il peut y avoir des problèmes de personnel qui rendent le fonctionnement moins huilé que d'habitude. Je sais pas si tu as remarqué, mais le milieu des gens en blanc est assez féminin, et les filles ca fait des enfants. Les périodes de congés mater sont souvent difficiles à gérer dans une petite équipe de recherche. On va pas empecher les gens de faire des enfants, hein, donc on s'adapte comme on peut. Bref, parfois un centre fonctionnera moins bien pendant une certaine période, ca c'est tout à fait possible.

A mon avis la qualité de travail d'un centre s'évalue plutôt en regardant des marqueurs de qualité assez classiques (délai visite - saisie, nombre de requests, respect des délais de déclaration AE-SAE... etc). Etudier des variances ou des lois de répartition sur des variables cliniques mesurées chez des sujets recrutés sera beaucoup moins informatif et beaucoup plus difficile. Si on ne parle plus de fraude, ca se rapproche plus de la recherche d'un "effet centre", très classique dans les études multicentriques, mais n'ayant pas grand chose à voir avec la qualité du travail des investigateurs.

Côté médecins, leurs connaissances sont très variables en fonction de leur implication dans les essais. Beaucoup d'investigateurs hospitaliers sont quand meme assez pointus, que ce soit au niveau législation, conduite des essais ou interprétation statistique. Ils ont en particulier un fond méthodo qui est loin d'être mauvais, lié à l'écriture de projets (les notres, les institutionnels), l'écriture d'articles, les activites de reviewer, leur implication dans différents comités scientifiques décidant de l'attribution de financements à de gros projets institutionnels, la participation aux "boards" des industriels et leurs activités d'expertise ... etc.... Ils ne sont peut etre pas capables de faire les stats (encore que...) mais cette base méthodo assez pratique et concrète alliée à leur "sens clinique" souvent assez impressionnant en fait des gens qui, dans leurs activités de recherche, sont loin d'être des perdreaux de l'année.

Pour la fraude, après y avoir réfléchi, il y a une situation qui peut tout à fait se produire, c'est la personne qui débute, investigateur, TEC ou ARC, qui fait une connerie et qui essaie de masquer le truc pour ne pas se faire engueuler. Niveau investigateur, j'y crois peu ou pas dans nos centres Français. Perso, en tant que study-co, j'essaie de mettre les nouveaux TEC-ARC à l'aise en disant d'entrée que des conneries on en fait tous et quand ils en feront une le truc c'est d'apprendre à déclarer, gérer et rattraper si c'est possible, le tout en respectant les BPC et le protocole. Donc on le dit, on apprend à gérer, et il n'y a aucune raison de s'affoler. Par contre si on fait le con dans son coin on connaitra mon coté sombre et on entendra parler de Raoul. J'ai jamais du faire voir mon côté sombre à personne, ca me rassure.

Par contre je veux bien croire qu'il existe un risque dans certains pays qui se sont lancés à grande échelle dans le business de la recherche clinique et qui font leur réputation sur des tarifs extremement bas et une certaine opacité de fonctionnement. C'est très loin de notre façon européenne de fonctionner mais si tu geres de grands essais qui empiètent sur la zone asie c'est possible.

C'est très intéressant concernant les nouveaux dans les centres qui ont peur d'avoir fait une bourde et ne le signalent pas. (le signaler les mettrait en danger dans quelque situation que ce soit ?)

Oui, et d'ailleurs mon sujet ne tient pas qu'à la fraude, ce n'est qu'un aspect spécifique de mon sujet qui répond à des lois typiques.
Bien entendu je m'intéresse aux données issues des erreurs d'inatention, des erreurs de mesure etc...

J'ai la chance de participer à des études avec des centaines de centres issus de pays à travers le monde entier et c'est pourquoi j'essaie d'investiguer le plus de méthodes CSM possible. En effet, la France est un pays assez à part et c'est pourquoi dans les analyses qu'on fait, on tend à stratifier en fonction des zone géographiques et des milieux socio-économiques pour viser certains centres. (ps: oui je travaille également sur énormément de pays asiatiques)

Et d'ailleurs au sujet des AE / SAE, je voulais savoir si tu savais comment on les prennaient en compte dans les analyses pour déterminer qu'un centre est atypique à ce niveau là. Ou bien si tu as des suggestions.

Concernant les délais de visite par rapport à la théorie (visit lag), je m'intéresse à ce facteur et j'essaie de savoir s'il n'y aurait pas une représentation graphique qui pourrait être utile et simple à utiliser. En général je m'intéresse aux centres dont les visites sont trop proches des visites cibles ou alors dont le taux de visite effectué pendant des journées non-conformes est trop élevé.

Le problème des nouveaux est très classique dans tous les boulots. En RC il y a juste une petite particularité: la relation médecins-non médecins doit être très détendue pour que ca marche bien. Sur les études compliquées, si le "mur" médecins-équipe paramédicale ne tombe pas, ca marche moins bien. Y compris avec les profs ou des gens un peu difficiles à aborder, qui ne sont pas rares dans ce milieu. Les mandarins ca existe encore, les caractériels aussi, il y a un coup à prendre pour briser la glace et certains ARCs sont très mal à l'aise avec ca au début. Tant que le mur n'est pas tombé, un nouveau un peu paumé au milieu de tout ce qu'il y a à faire peut être déstabilisé, et le mode panique peut entrainer des réactions étranges. Donc je pense qu'une partie importante du rôle de celui qui fait tourner la boutique est d'éviter ca. Je suis très sympa avec les nouveaux arrivants, je les mets à l'aise très vite et j'ai un message simple: c'est sur que tu en feras une, et le jour ou tu la feras si tu ne le sens pas tu m'en parles de suite. Je connais tous les investigateurs, on règlera le problème ensembles, tu apprendras comment gérer ca avec moi, c'est normal et ca fait partie des choses qui s'apprennent. Ca marche comme ca parce que je gère un centre un peu gros. Dans une structure plus petite avec 1 seul ARC, le nouveau peut parfois être balancé tout seul dans la cage aux fauves et là c'est pas facile pendant quelques semaines. Dans ce cas le rôle des ARCS coté industriels est central, c'est à eux de prendre les devants et de se proposer en soutien, en tout cas pour tout ce qui est règlementaire/protocole et même parfois un peu relationnel, avec les "vieux" ARCs industriels qui connaissent très bien beaucoup d'investigateurs. Malheureusement, avec les nouvelles facons de travailler liées au rbm (désolé j'y reviens), cette relation ARC labo-ARC hosto qui pouvait être très amicale et aidante (dans les 2 sens) tend à ne plus vraiment exister.

Pour les AE/SAE, le truc a verifier en priorité est le respect des délais de déclaration et leur suivi correct jusqu'à résolution. Il y a aussi des vérifications basiques de cohérence qui à mon avis passent bien avant l'étude des lois de distribution des variables cliniques. La bonne grosse caricature c'est le CRF avec un poids impossible à mesurer, cause: le patient est plâtré. Vérifier qu'une déclaration d'AE reportant la fracture a été faite autour de cette visite est prioritaire pour évaluer la qualité de travail d'un centre et passe bien avant tout le reste.

Le visit lag est très dépendant des centres et de leur organisation mais aussi de l'étude. Si tu te poses avec un patient devant le calendrier et que tu programmes la date de V1 pour que le flow chart puisse être respecté pendant toute l'étude (tenant compte des vacances, ponts, contraintes diverses) en général il n'y a aucune déviation. C'est parfois impossible, soit à cause de contraintes de fonctionnement du centre soit à cause du design de l'étude (études de longue durée, visites supplémentaires dépendantes de résultats en cours d'étude... etc). Dans ce cas il faut faire au mieux mais on ne peut souvent pas éviter quelques déviations, qui n'ont rien à voir avec une mauvaise qualité de travail du centre. La caricature c'est le mois de mai et ses jours fériés+ponts, qui est quasi ingérable sans déviations certaines années.

C'est très intéressant de savoir d'où viennent les potentielles erreurs, ça m'intéresse beaucoup car ça permet de savoir comment simuler les erreurs dans un jeu de donnée afin d'évaluer une méthode.

Pour le coup il faudrait que j'arrive à déterminer la même chose pour des valeurs aberrantes, d'inatention, de données manquantes etc, ça permettra de mieux simuler les erreurs.


Ah ouai bien vu le truc du platre, pour les AE, j'ai trouvé pas mal de formules qui permettaient d'avoir un indice calculatoire mais y'en a une qui m'a l'air un peu aberrantes :

AE = (Nombre de patient avec au moins 1 AE / Nombre de patients recrutés) / Durée de l'étude sur le site

ça me semble un peu étrange, j'ai vu ça dans un article, après je ne sais pas si tu as déjà vu ce genre de chose ou si c'est complètement hors sujet avec ton travail.


Concernant le visit lag, j'avais eu comme idée de comparer les différences de visit lag entre chaque visites au sein d'un centre et de les additionner. On compare ensuite ces sommes de chaque centre en fonction de la moyenne globale.
Ah et selon toi, le lag est-il censé être toujours dans le même sens ? Je veux dire est-ce que tu as déjà vu des centres faire des visites plus tôt que les dates cibles ?

dsl pour retard j'étais assez overbooké

Les valeurs aberrantes, hors normes et compagnie déclenchent des requests. Le délai de réponse aux requests peut lui aussi etre un indicateur de la qualité de travail du centre.

La formule des AE me semble complètement à côté de la plaque. Le nombre d'AE, qu'il soit pondéré ou non, ne veut pas dire grand chose. L'important est que tous les AE soient déclarés, et que les déclarations soient correctement remplies. Quand on recoit les déclarations de SAE/SUSAR des autres centres, certaines sont très incomplètes, avec des renseignements importants manquants. Elles sont transmises telles quelles pour respecter le délai légal d'information, et les renseignements manquants arrivent avec les déclarations suivantes de suivi/résolution. Avoir des déclarations initiales complètes, ou avec des items manquants justifiés, ca c'est un bon indicateur de la qualité de travail

Le visit lag peut etre dans les 2 sens. Il faut aussi tenir compte du lag intra-patient. Ca arrive parfois de tomber sur quelqu'un qui sèche ou "oublie" régulièrement des visites, avec toujours une bonne excuse. Ca existe, c'est lié à une psychologie un peu étrange mais il y a des gens comme ca. Ca les rassure de faire partie d'une étude, ils sont très demandeurs, ils se donnent l'impression de faire ce qu'il faut et même un peu plus pour se soigner mais en pratique ils n'arrivent pas à s'astreindre au minimum nécessaire. C'est hyper pénible, ils te prennent un temps fou en appels, reprogrammation et paperasse, et 1 seul zozo dans ce genre peut te faire flamber les stats d'un centre sur tous les indicateurs de qualité. Il faut identifier ca avant de faire les gros yeux.

D'accord, selon toi la complétion des AE n'est pas forcément un bon indicateur car dans les périodes de rush, ce n'est pas le plus pressé ? On peut aussi penser que la formation de l'équipe n'est pas satisfaisante si dans un centre la complétion est plus lente et plus faible.

Oui, pour le visit lag je pensais prendre la moyenne d'un centre, de façon à ce qu'un individu isolé avec une psychologie étrange (s'il n'y en a pas énormément) ne fasse pas pencher les stats du centre.

Au contraire. Je me suis mal expliqué. La complétion des AE est l'un des critères majeurs de qualité. Rush ou pas déclarer un AE de façon rapide, complète et précise est une priorité.