Questions sur le Score de Propension

Bonjour,

Je vais être amené à beaucoup travailler sur le PS matching, j'ai cependant des problèmes d'interprétation.

Concernant le PS matching, imaginons que nous ayons deux groupes de traitement, un traitement intensif (A) et un traitement moins intense (B).
Je travaille sur de l'observationnel et les individus ont déjà été traités, le score de propension va me servir à créer 2 sous-groupes de patients comparables (une sorte de randomisation rétrospective).

Mon score de propension va être la probabilité pour chaque individu de prendre le traitement A (proba entre 0 et 1) en fonction de covariables qui vont être prises en compte.

- Est-ce possible pour un patient du groupe A d'avoir un score de propension inférieur à 0.5 ? (Etant donné qu'on sait d'avance qu'il reçoit le traitement, est-ce mathématiquement possible que le calcul du PS alloue une proba inférieure à 0.5 ?)
- Est-ce que les individus qui vont être matchés seront forcément des individus du groupe A ayant un PS supérieur à 0.5 et des individus du groupe B ayant un PS inférieur à 0.5 ?
- Pour caricaturer, la méthode de matching va-t-elle prendre des paires d'individus qui ont un PS symétriquement éloigné de 0.5 ?
- Dans quels cas de figures la méthode de matching va choisir de ne pas inclure des patients dans les sous-groupes créés ?

J'ai une idée des réponses à ces questions mais j'aimerais avoir un avis/une confirmation

J'ai également une question un peu plus pointue, imaginons que nous ayons 7 groupes de traitement, dont un traitement intensif qui est notre référence (A). L'objectif est de créer 7 groupes homogènes au niveau des covariables.
Nous calculons à chaque fois le PS (la proba pour un patient d'avoir le traitement A au vu de ses covariables).
Est-ce que le PS des individus ayant été traités avec le traitement A sera forcément compris entre (1-1/7) et 1 ?
Est-ce que le PS des individus ayant été traités avec n'importe quel autre traitement sera forcément compris entre 0 et 1/7 ?

Merci d'avance

Bonjour Zezima,

Je vais essayer de repondre à tes questions une par une:

Est-ce possible pour un patient du groupe A d'avoir un score de propension inférieur à 0.5 ? (Etant donné qu'on sait d'avance qu'il reçoit le traitement, est-ce mathématiquement possible que le calcul du PS alloue une proba inférieure à 0.5 ?)

Oui. Un patient qui en théorie a une faible chance d'être traité (e.g SP=0.01) peut quand même être traité dans la "vraie" vie. Et d'ailleurs, d'un point de vue statistique, heureusement, car le but du matching est d'apparier un individu traité à un individu non traité ayant une valeur similaire de score de propension. Si les traités avaient tous un score >0.5 et les non-traités <0.5, tu ne pourrais pas apparier du tout.

- Est-ce que les individus qui vont être matchés seront forcément des individus du groupe A ayant un PS supérieur à 0.5 et des individus du groupe B ayant un PS inférieur à 0.5 ?

Non. Cela rejoint ma remarque précédente. Les individus matchés seront tous les individus pour lesquels il est possible de trouver un autre individu appartenant à l'autre groupe avec une valeur similaire du score de propension. Evidemment, il est difficile de trouver de bons candidats dans les 2 queues de la distribution du score, surtout si ton echantillon n'est pas immense.

- Pour caricaturer, la méthode de matching va-t-elle prendre des paires d'individus qui ont un PS symétriquement éloigné de 0.5 ?

Non. Les paires sont constituées d'individus ayant des valeurs proches du score de propension. L'idée générale du score de propension telle que proposée par Rubin, est que, sous un ensemble d'hypothèse (positivité, consistence, SITA et SUTVA, (si besoin je peux m'étendre la dessus)), deux individus ayant la meme valeur de score ont en moyenne une distribution similaire des covariables ayant participé à la construction du score. Par conséquent, en appariant un traité et un non-traité ayant des valeurs similaires du score, on s'attend à ce que leurs caracteristiques soient similaires. En faisant cela sur ton echantillon, tu vas créer un équilibre entre tes groupes.

- Dans quels cas de figures la méthode de matching va choisir de ne pas inclure des patients dans les sous-groupes créés ?

Cela depend de la méthode choisie pour l'appariemment. En général, on définit un "caliper", c'est à dire la distance maximale jugée acceptable entre les scores de deux individus que l'on cherche à apparier. Un caliper fréquent est 0.2 fois l'écart-type du score de propension. Avec ce seuil, il n'est pas toujours possible de trouver un individu ayant un score suffisamment similaire dans l'autre groupe pour procéder à l'appariemment. Dans ce cas, l'individu est exclu. Certes, cela améliore l'equilibre des groupes, mais cela pose de gros problèmes de généralisabilité car tu exclus certains individus sur la base de leurs caracteristiques individuelles. Certains statisticiens utilisent l'appariemment avec remplacement pour limiter ce probleme, mais l'estimation de la variance devient bien plus compliquée.

En resumé: pourquoi ne pas utiliser la pondération par l'inverse du score de propension à la place? L'appariemment sur le SP a été assez largement critiqué dans la littérature, en particulier car il n'y a pas de methode adéquate pour estimer la variance de l'effet traitement (même le bootstrap non-paramétrique échoue). Je peux egalement développer plus sur ce sujet.

Pour les autres questions:

Est-ce que le PS des individus ayant été traités avec le traitement A sera forcément compris entre (1-1/7) et 1 ? Est-ce que le PS des individus ayant été traités avec n'importe quel autre traitement sera forcément compris entre 0 et 1/7 ?

Non, pour la raison décrite plus haut. L'utilisation des SP pour plus de deux groupes est très délicate dans tous les cas, et les quelques papiers methodologiques sur le sujet ne vont rarement plus loin que 4 groupes, car chaque individu a une valeur de probabilité pour chaque traitement, et à moins d'avoir un echantillon extremement grand, les scores sont en général trop variables pour pouvoir permettre de ré-équilibrer les groupes.

Désolée, je peux etre tres bavarde quand il s'agit de scores de propension , mais n'hesite pas si tu as d'autres questions.

Ayana

Bonjour Ayana, merci beaucoup pour ta réponse, c'est précis et clair.

Au contraire, ça m'intéresse beaucoup comme sujet donc tant mieux si tu es bavarde

J'ai bien fait de poser ces questions car j'avais en tête que le matching se faisait sur des score opposés et non pas des scores voisins. Il y a donc des nouvelles questions qui me viennent à ce sujet.

- Si on applique une méthode de PS avec appariement pour 7 groupes, on aura beaucoup moins d'individus qu'un appariement avec 2 de ces 7 groupes (théoriquement) ? En tout cas, on aura jamais plus d'individus dans un appariement avec 7 groupes que dans un appariement avec 2 de ces 7 groupes si j'ai bien compris la méthode du matching ?

- Que penses-tu des méthodes de Stratification et d'ajustement ? (en master, on me l'avait déconseillé et on avait mis en avant l'IPTW pour économiser des patients, ainsi que l'appariement avec remise qui était très apprécié il me semble). Pour l'appariement simple, il semblerait que ce soit mauvais en terme d'homogénéité des groupes (privilégier l'appariement avec remplacement ou l'IPTW si j'ai bien compris).

- Le caliper a surement un gros impact et je voulais savoir comment tu choisissais sa valeur (sans être trop arbitraire), j'imagine que le caliper devrait être différent pour des covariables à forte variance et à faible variance. Par exemple pour les appariements, est-ce qu'il faut regarder après matching le nombre d'individus gardé et l'homogénéité des covariables à travers les différents groupes afin de choisir un caliper optimal (une méthode itérative) ? Ou alors regarder en aval de l'appariement la variabilité des covariables (ou encore le Coefficient de Variation) ? (si tu as d'autres idées, je suis preneur)

Ayana a écrit:pourquoi ne pas utiliser la pondération par l'inverse du score de propension à la place?

Je suis censé utiliser l'IPTW, d'ailleurs on veut "évaluer" plusieurs méthodes liées au PS (et potentiellement une méthode assez récente, on m'avait parlé de "Hodspot" je crois mais je n'arrive plus à trouver le nom sur internet), pour le moment j'essaie de bien comprendre le matching et ensuite je passerai sur les autres méthodes (je m'y suis mis aujourd'hui pour être franc)

Ayana a écrit:L'idée générale du score de propension telle que proposée par Rubin, est que, sous un ensemble d'hypothèse (positivité, consistence, SITA et SUTVA, (si besoin je peux m'étendre la dessus))

Pour le moment je vais essayer de voir à quoi correspondent toutes ces hypothèses, je risque de revenir dessus, dans ma tête quelquechose me fait dire que deux patients avec 2 scores de propension similaires peuvent avoir des caractéristiques très différentes (il faut que je revois les formules).

Merci,
Zezima

Si on applique une méthode de PS avec appariement pour 7 groupes, on aura beaucoup moins d'individus qu'un appariement avec 2 de ces 7 groupes (théoriquement) ? En tout cas, on aura jamais plus d'individus dans un appariement avec 7 groupes que dans un appariement avec 2 de ces 7 groupes si j'ai bien compris la méthode du matching ?

Oui. Plus tu as de groupes, plus tu vas perdre de sujets. Honnêtement, je suis très sceptique quant à l'idée de faire de l'appariement avec 7 groupes, pour les raisons suivantes:
- pour prédire tes scores, tu devras utiliser un modèle logistique polytomique: plus le nombre de catégories augmente, plus ton effectif doit être élevé afin d'obtenir des prédictions suffisamment précises
- à ma connaissance, il n'y a pas de consensus sur la manière de mettre en oeuvre l'appariement avec autant de groupes. Chaque individu a 7 probabilites differentes (une pour chaque traitement). Dans l'ideal, tu veux creer des groupes de 7 individus (ayant chacun un traitement different), mais ayant des valeurs des 7 scores similaires. Cela reviendrait, dans une étude observationnelle, à apparier sur 7 variables différentes!! C'est en général compliqué d'apparier sur 2 variables (age et sexe) avec 2 groupes de traitement, donc apparier sur 7 variables avec 7 groupes...
- estimer la variance de ton effet traitement apres appariemment sur le score de propension est quelque chose de quasiment impossible. L'estimateur le plus courant (Abadie et Imbens) ignore l'incertitude liéeà l'estimation du score de propension, et en plus, je ne crois pas qu'il ait été généralisé à plus de deux groupes

Que penses-tu des méthodes de Stratification et d'ajustement ? (en master, on me l'avait déconseillé et on avait mis en avant l'IPTW pour économiser des patients, ainsi que l'appariement avec remise qui était très apprécié il me semble). Pour l'appariement simple, il semblerait que ce soit mauvais en terme d'homogénéité des groupes (privilégier l'appariement avec remplacement ou l'IPTW si j'ai bien compris).

La stratification, ce n'est pas terrible car c'est un "matching approximatif". La stratification peut corriger jusqu'a 90% du bias, mais il reste un biais residuel du a l'heterogeneite de tes individus par strate. L'ajustement repose sur une hypothese supplementaire tres forte: tu es suppose connaitre la forme fonctionnelle de la relation entre ton outcome et ton score, et bien souvent, ce n'est pas lineaire (ou log-lineaire). Et si ton modele est bien specifie, les resultats seront similaires a ceux d'une regression multivariable.
L'appariement sans remise est le plus intuitif car tu n'utilises pas le meme controle deux fois, mais tu vas apparier moins de monde (car certains controles qui auraient ete adaptes sont deja "pris"). L'appariement avec remise augmente ton sample size, mais ensuite tu dois ponderer chaque controle afin de tenir compte du nombre de fois ou il a ete selectionne.
Ensuite, il est possible d'utiliser ou non un caliper. Si tu n'en utilises pas, tu excluras moins de monde, mais tu risques d'apparier des individus ayant des valeurs de score de propension tres eloignees (et donc pas comparables du tout). Le caliper est toujours preferable.

Le caliper a surement un gros impact et je voulais savoir comment tu choisissais sa valeur (sans être trop arbitraire), j'imagine que le caliper devrait être différent pour des covariables à forte variance et à faible variance. Par exemple pour les appariements, est-ce qu'il faut regarder après matching le nombre d'individus gardé et l'homogénéité des covariables à travers les différents groupes ? Ou alors regarder en aval de l'appariement la variabilité des covariables (ou encore le Coefficient de Variation) ? (si tu as d'autres idées, je suis preneur)

Outre la valeur standard de 0.2*SD(score de propension), une chose a garder en tete est que le but du score de propension est d'equilibrer tes groupes a baseline. En general, on calcule avant et apres matching la difference standardisee pour chaque variable. Une variable est consideree comme equilibree si la difference standardisee est <10%. Plus le caliper est faible, plus l'equilibre sera bon (et donc les differences standardisees faibles) mais l'effectif post-matching faible. Tu peux donc faire une etude de sensibilite et voir, pour differents calipers, si tes groupes sont equilibres ou non. Par contre, a ce stade, ne regarde pas ton outcome!

dans ma tête quelquechose me fait dire que deux patients avec 2 scores de propension similaires peuvent avoir des caractéristiques très différentes (il faut que je revois les formules).

En pratique, c'est possible. Les proprietes du SP sont asymptotiques.

Bonjour, merci beaucoup pour ta réponse Ayana.

Je suis en effet très sceptique pour l'appariement sur les 7 groupes (heureusement que des appariements 2 à 2 ont été prévus). A part augmenter le caliper, je ne vois pas de solution pour garder un nombre de patients relevant (et encore, on va perdre en homogénéité des groupes...).
D'ailleurs les 7 drogues sont très différentes (même en terme de route d'administration) donc je ne m'attends pas à des miracles au niveau du matching...
Est-ce que tu es également sceptique pour un appariement à 7 groupes avec remise ?
Tu penses que l'IPW (ou une autre méthode) permettrait de contourner le problème ? (je ne connais pas encore assez l'IPW pour juger pour le moment).

Ayana a écrit:En general, on calcule avant et apres matching la difference standardisee pour chaque variable

Superbe, c'est prévu dans le SAP

Okay donc je vais lancer plusieurs caliper et voir ce que j'obtiens en termes de sample-size et de Différence Standardisée !

Dernière question, mais qui est un peu à côté du sujet, est-ce que tu sais dans quels domaines des la santé on est censé pouvoir rencontrer du Score de Propension ?
Par exemple, il me semble qu'on peut en trouver en Safety, en post-AMM pour l'évaluation de performance de drogues. Est-ce théoriquement possible d'utiliser les scores de propension dans d'autres domaines (recherche/pré-clinique/clinique p1-p2-p3) ? On est en Essai Contrôlé Randomisé certes, mais as-tu déjà été confronté à des exceptions ?

hello,

Avec 7 groupes, je serais sceptique meme avec un modele de regression multivariable. L'IPTW n'arrangerait rien dans ce cas. Si tu tiens a apparier, dans un premier lieu, tu peux faire des comparaisons par paires (soit A vs B, soit A vs (B+C+...+G)). Cependant, l'appariement sur le SP est connu pour conduire a des tests tres conservatifs, donc si en plus de cela tu corriges ton seuil de significativite pour tenir compte de la multiplicite des tests, tu ne verras plus grand chose. Peux-tu en dire un peu plus sur tes donnees? D'ou proviennent-elles?

est-ce que tu sais dans quels domaines des la santé on est censé pouvoir rencontrer du Score de Propension ?

Potentiellement partout. Les scores de propension sont surtout utiles quand:
- le critere de jugement est binaire et les evenements sont rares (ce qui rend la regression multivariable impossible)
- le nombre de variables (facteurs de confusion) est grand. Le SP est une methode de reduction de dimension
Par consequent, le SP s'utilise beaucoup en safety (point 1) et pour l'analyse de grandes bases de donnees medico-administratives (point 2)
Ensuite, le score de propension est de plus en plus utilise dans les essais randomises pour ameliorer la precision (https://www.ncbi.nlm.nih.gov/pubmed/24114884) ou pour les analyses en sous-groupes definies sur des variables post-randomisation (ou du coup les groupes peuvent etre desequilibres). En pre-clinique et phases precoces, pas sure que ce soit tres utile du fait des effectifs trop faibles.
C'est egalement une methode tres appreciee pour tenir compte de variables dependant du temps. De plus en plus utilise egalement dans le domaine de l'economie de la sante. Je ne parle meme pas des epidemiologistes qui en raffolent :-) Pour etre tout a fait honnete, il y a quand meme un bel effet de mode derriere tout ca.
Ayana

Salut, intéressant l'article que tu mis

Oui en effet, j'en ai discuté avec mon équipe et on va abandonner le matching sur 7 groupes à la fois pour des raisons évidentes.
Nous allons donc faire les comparaisons par paire.

Ayana a écrit:Peux-tu en dire un peu plus sur tes donnees? D'ou proviennent-elles?

Je ne peux vraiment pas être très précis concernant les données mais elles proviennent toutes du même pays.
L'objectif est de comparer des critères de persistance et d'adhérence entre les différents groupes de drogue deux à deux (avec toujours la même référence).
J'ai environ 1200-2500 individus par groupe (le groupe de référence comporte 1200 individus donc le PSM conduira forcément à beaucoup moins que 1200 paires d'individus).
Il s'agit de patients ayant pris différentes drogues (10 groupes de drogue).
Chaque groupe de drogue est indépendant (il n'y a aucun patient qui se retrouve dans 2 groupes par exemple).
On va donc faire 9 comparaisons 2 à 2 et créer 9 paires de score de propension.

Pour chaque comparaison on va utiliser plusieurs méthodes de matching (cet aspect méthodo ne peut pas changer ) et appliquer de simples régressions sur des critères binaires et continus avec ou sans covariable.

Ayana a écrit:Potentiellement partout.

Superbe
Je commence à bien apprécier cette méthode, et je vois qu'il y a beaucoup de méthodo à faire sur cette méthode (là c'est vraiment basique ce qu'on fait) donc je vais essayer de continuer à travailler dessus.

Fais bien attention tout de meme car si tu compares A vs B puis A vs C, comme tu apparies a chaque etape, les patients recevant A inclus dans ton analyse ne seront pas les memes dans tes 2 comparaisons, donc l'interpretation est tres compliquee. D'autre part, le matching sur le score de propension permet d'estimer l'effet du traitement chez les traites (et non sur l'ensemble de la population) donc vois si c'est bien la question qui t'interesse.

Je commence à bien apprécier cette méthode, et je vois qu'il y a beaucoup de méthodo à faire sur cette méthode

Oui, d'ailleurs, a la prochaine conference de l'ISCB (la plus grosse conference en biost clinique), il y a une session entiere dediee aux scores de propension, plus quelques presentations eparpillees dans d'autres sessions. C'est vrai que malgre ses limites, cette methode est plutot fun

Oui tu fais bien de le souligner, ce sera à chaque fois des sous-groupes différents pour le groupe A et théoriquement je pense que chaque sous-groupe aura une définition différente :
- sous-groupe A homogénéisé en fonction de la drogue B
- sous-groupe A homogénéisé en fonction de la drogue C
- ...

Donc bien entendu il ne faudra pas comparer les résultats des sous-groupes B, C et D par exemple. Et il n'y a heureusement rien de prévu à ce niveau-là dans le SAP !

Au vu de la destination de la prochaine conférence ISCB, j'espère qu'il y aura des rediffusions !

Je te resumerai :-)