Simuler des patients qui ressemblent à des patients précis

Bonjour,

Je viens vers vous car j'ai un objectif assez différent de ce que j'ai l'habitude de faire.

J'ai 2 groupes de patients (A et B) pour lesquels j'ai 4 variables continues.
A correspond à un jeu de donnée plus petit que B, aussi, il ne comporte pas certains sous-groupes de B que j'aimerais prendre en compte dans la simulation (score hypertension=4 et score hypertension=5 ; je n'ai que les groupes 1, 2 et 3 dans mon groupe A).

Mon objectif est de simuler un jeu de données représentatif de B à partir de A afin de comparer le jeu de données simulé à B.
Lors de ma comparaison, je créerais des indicateurs diagnostics sur le groupe simulé (qui sont déjà présents dans B) puis je comparerais ces indicateurs diagnostics.
Mon objectif sera de dire "Mon jeu de donnée simulé, représentatif et indépendant de B représente/ne_représente_pas un diagnostic similaire à B".

Je veux simuler un jeu de données car je n'ai pas d'autres jeux de données représentatif de B, que je pourrais comparer à B.

J'ai plusieurs questions :
- Connaissez-vous des noms de méthodes qui sont applicables afin d'amplifier la taille mon jeu de données A afin d'avoir des données représentatives de B ?
- Connaissez-vous une astuce afin de simuler les groupes d'hypertension retrouvés dans le groupe B, sachant que je ne les ai pas dans le groupe A et que je ne veux pas partir de mon groupe B pour lancer une simulation ?
- Connaissez-vous des méthodes qui permettent de simuler des variables "integer/entières" ?

Pour le moment j'ai investigué la méthode des k-means mais elle ne permet pas de prendre en compte les integers/variable entières.
Aussi l'histoire des sous-groupes non-représentés dans mon groupe A m'handicape pour créer mon groupe de simulation représentatif de B, je ne sais pas s'il y a une astuce à ce sujet.

Merci d'avance pour vos idées

Bonjour.

Bien que je puisse comprendre ton besoin, je suis un peu surpris par ta demande. Je la retraduis ainsi : Dans une classe, j'ai un échantillon de notes des mauvais élèves (rien que des notes inférieures à 10). Comment puis-je transformer ces données pour connaître la moyenne de la classe ?
Bien entendu, cela n'est pas sérieux, on ne sait rien des meilleurs élèves.

A moins que tu aies des renseignements sérieux sur l'échantillon B, en particulier la répartition des valeurs des caractères qui t'intéressent (tu n'as rien précisé) dans chacune des 5 classes. Si c'est la même que dans l'échantillon A, tu peux reconstituer des individus en te basant sur les répartitions connues. mais si elle diffère, ce qui est probable, ton échantillon A n'est déjà pas représentatif de l'échantillon B sur ces trois catégories, et tu sais qu'il ne l'est pas de la population ...

Enfin, ta phrase "Je veux simuler un jeu de données car je n'ai pas d'autres jeux de données représentatif de B, que je pourrais comparer à B." est bizarre : Tu veux comparer B à B ?? A priori, pour avoir un jeu de données représentatif de B, il faudrait tirer au hasard parmi les individus de B. On le fait pour voir quel effet a l'échantillonnage sur les variations des caractéristiques étudiées, mais c'est déjà un peu "limite" si on n'est pas sûr que B soit parfaitement non-biaisé.

Cordialement.

Bonjour gg,

Je suis complètement d'accord avec toi, ça me semble compliqué de simuler des données pour représenter un groupe qu'on n'a pas à partir de notre jeu de données initial. (je voulais surtout une confirmation et un avis sur la question)

gg a écrit:"Je veux simuler un jeu de données car je n'ai pas d'autres jeux de données représentatif de B, que je pourrais comparer à B. " est bizarre : Tu veux comparer B à B ??

Pour être plus précis, je veux comparer un groupe représentatif et indépendant de B à B. Au final, je veux comparer A-bis à B, c'est à dire un groupe simulé à partir de A, sachant que A est représentatif de B. Je ne veux pas simuler des patients à partir de B car la simulation va forcément me donner des résultats proches de B, au final les résultats seraient les mêmes.
Mon objectif est d'utiliser une variable de diagnostic qui sera calculée sur les variables simulées et regarder ma spécificité/sensibilité etc... que j'aurais obtenu sur mon nouveau jeu de données indépendant et représentatif de B.
Je veux donc avoir des données qui ressemblent à B et vérifier si ma variable de diagnostic se comporte bien sur ces données simulées.
Mon groupe simulé serait un jeu de données de validation.

gg a écrit:Dans une classe, j'ai un échantillon de notes des mauvais élèves (rien que des notes inférieures à 10). Comment puis-je transformer ces données pour connaître la moyenne de la classe ?

Ce que tu as dit a beaucoup de sens, mais dans ma tête, je me dis qu'en représentant les patients ayant des notes supérieures à 10 (qui n'existent pas dans A) à partir d'autres variables, je pourrais potentiellement avoir des informations et une sous-population qui ressemble à ces patients.
Par exemple, si la majorité des patients qui ont des notes supérieures à 10 sont des élèves très vieux, très grands et dont le groupe sanguin est majoritairement O, je peux prendre les quelques patients dans le groupe A qui sont vieux, grands et GS=O et les simuler afin d'avoir un groupe représentatif de B (bien que les notes ne soient pas représentatives).
Je ne sais pas si c'est une bonne idée.

Si l'idée listée au-dessus n'est pas bonne, je pense qu'il faudra que je me content des groupes de patients qui sont en commun dans A et B afin de simuler ces patients mais ce ne sera pas optimal.

Merci,
Cordialement,

J'ai pas d'avis mathématique sur la question, je suis totalement incompétent sur le sujet.

Par contre, médicalement ca me semble très chaud à justifier. Quand tu parles sensibilité/spécificité d'un test ou d'un critère diagnostique, ce sont des indicateurs qui sont plutôt influencés par les patients "à la marge". Un test diagnostique correct détectera toujours le "patient moyen". Ce qui fait la performance d'un test diagnostique, c'est justement sa capacité à détecter les cas un peu à la marge.

En simulant, l'idée peut etre fausse et caricaturale que j'en ai, c'est justement que tu vas générer des patients plutôt moyens. Ca me semble impossible de simuler un cas particulier, puisque par définition tu ne sais pas vraiment ce qu'ils peuvent avoir de particulier ni à quelle fréquence ils apparaissent. Donc je pense qu'en simulant des cas plutôt pas trop extremes, tu vas obtenir des surestimations de la sensibilité/spécificité de ton test sur données virtuelles par rapport à la vraie vie, et donc que tu risques d'avoir de mauvaises surprises par la suite (calculs d'effectifs conduisant à une surestimation de la puissance et donc sous estimation de l'effectif minimum nécessaire dans tes futurs "vrais" essais.

Quand même, Zezima,

tu ressembles un peu à celui qui cherche ses clefs (perdues dans le noir) sous un lampadaire parce que "là, il y a de la lumière".

Vous m'avez convaincu, je pense que c'est utopique de vouloir simuler quelque chose sur lequel on ne peut pas se baser.

Cependant, et c'est pour ça que je force sur des sujets que je ne maitrise pas, j'entends souvent des amis (non-stat) me dire que les sondages sont tous faux car on n'interroge pas toute la population mais seulement un petit échantillon.
Je leur répond que ce n'est pas parce qu'on ne sait pas comment contourner un problème qu'il n'y a pas de solution.
(Bon, on est d'accord que dans les sondages, l'échantillon choisi est "représentatif" de la population)

Merci pour vos avis

C'est vrai que les sondages sont tous faux. Comme les mesures physiques (demande à un ami sa taille, puis prouve-lui que c'est faux, il ne connaît pas sa taille, mais une estimation de sa taille). Mais s'ils sont faits correctement, ils donnent une information probable.

Cordialement.

gg a écrit:C'est vrai que les sondages sont tous faux. Comme les mesures physiques (demande à un ami sa taille, puis prouve-lui que c'est faux, il ne connaît pas sa taille, mais une estimation de sa taille). Mais s'ils sont faits correctement, ils donnent une information probable.

Cordialement.

Je pense que le problème est différent, il s'agit là de savoir si il est raisonnable de produire une estimation fiable des performances d'un test diagnostique sur une population virtuelle. Personnellement je ne pense pas.

Heu ... je parlais seulement des sondages, pas du sujet initial, ,où tout le monde est d'accord. Je rebondissais seulement sur " j'entends souvent des amis (non-stat) me dire que les sondages sont tous faux".

Cordialement.

Pour en revenir à la seconde question, est-ce que vous connaissez des méthodes de simulation de données ?
Une méthode qui va simuler toutes les variables de plusieurs patients (on garder cette variabilité intra-patient au sein des individus simulés).

Merci

Bonjour,

est-ce que les MCMC ne peuvent pas te permettre de simuler des données ?

cdlt

Bonjour droopy, je suis en train de regarder cette méthode et ça me semble très lié à ma problématique.

Je te remercie !

Cordialement

droopy a écrit:est-ce que les MCMC ne peuvent pas te permettre de simuler des données ?

Après vérification, les MCMC ne permettent de simuler que des données issues de séries temporelles.

zezima a écrit:- Connaissez-vous des méthodes qui permettent de simuler des variables "integer/entières" ?

Juste pour répondre à ce petit bout le la question initiale, ceci ne pose aucun problème technique. Soit on connait la distribution est c'est une distribution de valeurs entières (e.g., Poisson), et on tire les valeurs directement dans la loi correspondante (et il existe des procédures algorithmiques pour ça). Soit on utilise (par exemple) une loi uniforme (bornée) et on prend les parties entières des valeurs tirées dedans.

HTH, Eric.

Bonjour Eric, merci pour ta réponse.

Oui en effet, j'arrive soit :
- à simuler des distributions d' "integer" mais pas lorsqu'il y a plusieurs variables qui entrent en jeu
- simuler plusieurs variables continues mais sans "integer"

Un patient va avoir des informations concernant plusieurs variables et c'est cette information que je veux capturer, il y aurait donc une multi-distribution de toutes les variables à simuler (distribution sur plusieurs dimensions).

La démarche à adopter dans ce cas est juste une généralisation multivariée de celle adoptée lorsqu'il n'y a qu'une variable continue à simuler.

La difficulté tiens au fait que les variables à simuler sont corrélées entre elles (sans quoi, chacune ferait l'objet d'un tirage indépendant).

On s'en sort en calculant la matrice de variance-covariance des variables à simuler, puis on en fait un décomposition de Choleski dont on se sert pour reconstruite à chaque fois un vecteur de données simulées corrélées. Il y a pas mal de tutos sur le web. Sinon, je peux donner plus d'explication ici.

HTH, Eric.

Eric a écrit:
La difficulté tiens au fait que les variables à simuler sont corrélées entre elles (sans quoi, chacune ferait l'objet d'un tirage indépendant)

Oui tu as tout a fait retranscrit mes pensées, et je pense en effet que la matrice de variance covariance a un intérêt à ce niveau.

Je t'avoue que je veux bien qu'on rentre un peu plus dans les détails, étant donné qu'il faut également choisir une matrice de variance covariance. Certaines zones sont encore un peu floues pour moi.
Je vais regarder en parallèle sur le Web, ça m'intéresse beaucoup.

On parle de matrice de variance-covariance, est-ce qu'il ne risque pas d'y avoir un problème au niveau des variables "integer" ?

Encore une fois, il y a plein de tutos sur le web. Une recherche rapide vient de me donner le lien suivant - parmi de nombreux autres :

http://www.unit.eu/cours/cyberrisques/etage_3_frederic/co/Module_Etage_3_28.html

Pour le cas des variables discrètes, on retombe sur ma réponse précédente. Il suffit de prendre la partie entière des tirages effectués.

HTH, Eric.

P.S.: Je prends une semaine de vacances à présent. Une fois de retour, et si tu n'as pas progressé, je peux t'envoyer plus d'info.

Très bien, je te remercie.

J'ai essayé la méthode de simulation à l'aide de la décomposition de Choleski mais les corrélations entre les variables n'étaient pas toutes respectées dans le jeu de données simulé.

J'ai également essayé d'utiliser les indicateurs de covariance d'une matrice de variance-covariance mais les variables simulées en retour (y compris les variables integer) avaient une distribution normale (ou binomiale).

En tout cas c'est très intéressant, je mettrai les deux codes R utilisés pour chacune des stratégies d'ici mercredi.