Score de propension : Standardized Mean Difference

Bonjour,

Le golden standard pour comparer l'homogénéité de distributions dans un groupe Contrôle et un groupe Traitement après application d'une méthode basée sur le Score de Propension est le SMD (Standardized Mean Difference).

Code:


Soit deux groupes "1" et "2"

SMD=(Mean1 - Mean2) / sqrt( (Variance1 + Variance2) / 2 )

T statistic = (Mean1 - Mean2) / sqrt( Variance1/N1 + Variance2/N2 )


Pour son calcul sur les variables numériques, la formule du SMD est très proche de la formule d'un t-test, à la différence que le SMD ne prend pas en compte la taille d'échantillon.
Pourquoi est-ce que dans le domaine du Score de Propension on préfère utiliser le SMD à un t-test ?

Merci

Je n'y connais rien en score de propension.

Ce que je peux dire, en revanche, c'est que, lorsque tu dis "on prend en compte la taille de l'échantillon dans un t-test", ce n'est en fait pas comme ceci qu'il faut (faudrait) formuler les choses. Je m'explique.

On veut comparer dans un test-t deux moyennes. Chacune de ces deux moyennes a sa propre distribution (gaussienne) et donc sa variance. Mème plus, la variance de chacune de ces moyennes est la variance de l'échantillon correspondant divisée par N (et l'écart-type correspondant est l'erreur-standard: SE=SD/sqrt(N)). On suppose que les deux échantillons sont indépendants, et on s'intéresse à la différence entre les deux moyennes comme critère de décision. La variance de la différence entre les deux moyennes est juste la somme de leur variance (si les échantillons n'étaient pas indépendants, il faudrait rajouter moins deux fois la covariance).

Dans la mesure où l'on veut comparer la différence entre les deux moyennes à zéro, on construit alors une statistique de Wald toute bête où on teste la valeur d'un paramètre gaussien en le divisant par son écart-type, que l'on compare à une valeur seuil lue dans une table. Le paramètre à comparé à zéro est la différence des moyennes, et son écart-type est la racine carrée de la somme des variances des moyennes (la somme des carrées de leur SE), et c'est de là que vient la formule de calcul du test-t.

Dans ce cadre, diviser la différence entre les deux moyennes par la racine carrée de la moyenne des variances n'a aucun sens, pour moi. Donc, en clair (1) je ne peux répondre à ta question ; et (2) je serais effectivement curieux de savoir d'où sort cette formule qui me semble incompréhensible.

Eric.

Merci Eric pour ta réponse

J'ai en effet fait un raccourcis en parlant du t-test, je l'utilise au quotidien et ce qui m'intéressait était surtout de voir ce qui diffère entre le t-test et le SMD.

Le SMD est utilisé pour évaluer l'homogénéité des distributions entre deux groupes qu'on a essayé "d'équilibrer" (je mets des guillemets pour équilibrer).
Plus le SMD est petit et plus on est content de l'algorithme qu'on a utilisé pour matcher deux sous-populations.

Cette formule provient de ce papier référence (cf. page 2)
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6351359/

Il est fortement déconseillé d'utiliser des tests statistiques (type chi2/ttest) pour évaluer l'homogénéité des distributions ou proportions entre deux groupes et c'est pourquoi je suis surpris que les formules soient aussi proches.
En effet, un test utilisé en aval d'une étude :
-ne dira pas quel effet (delta) a été mis en évidence
-sera très dépendant du sample size et de la variabilité

Hello hello,
Je desesperais ces derniers temps car le forum est devenu tres calme, donc une question, qui plus est sur les scores de propension, me fait plaisir. A croire que personne ne fait de stats pour passer le temps ;-)

Ta question est plus philosophique que statistique. La p-value d'un t-test depend de ton sample size, c'est a dire qu'une meme difference de moyenne avec une meme variance commune conduira au calcul d'une p-value plus faible pour un effectif grand. C'est ce qui permet de distinguer une "vraie" difference d'un "chance imbalance". Or, avec les scores de propension, ce que l'on veut mesurer c'est l'ampleur des desequilibres entre les groupes, desequilibres systematiques ou aleatoires, peu importe. On veut donc une mesure qui ne depende pas de la taille de l'echantillon, ca n grand ou pas, un desequilibre est un desequilibre (meme si c'est juste lie a des fluctuations d'echantillonnage) que l'on veut corriger avec les score de propension. Il y a pas mal de papiers sur le sujet, dont celui-la:
https://www.ncbi.nlm.nih.gov/pubmed/21805529
Par contre, le souci avec la SMD, c'est que pour les variables binaires, elle depend beaucoup de la prevalence, donc une SMD grande ne signifie pas forcement qu'il y a un desequilibre massif entre les groupes.
Bonne soiree,

Ayana

Salut Ayana ! Merci pour ta réponse

Ayana a écrit:Je desesperais ces derniers temps car le forum est devenu tres calme, donc une question, qui plus est sur les scores de propension, me fait plaisir. A croire que personne ne fait de stats pour passer le temps ;-)

Haha, oui j'ai pensé à toi en écrivant ma question. C'est l'occasion du confinement pour s'instruire un petit peu

Ayana a écrit:La p-value d'un t-test depend de ton sample size, c'est a dire qu'une meme difference de moyenne avec une meme variance commun

Oui totalement, je me rends compte que j'ai mis la formule d'une correction de Welch et non pas d'un T-test classique, je faisais bien allusion à la formule de Welch !

Ayana a écrit:Par contre, le souci avec la SMD, c'est que pour les variables binaires, elle depend beaucoup de la prevalence

Oui totalement, j'avais trouvé un SMD de 0.230 pour deux prévalences binaires de 98% vs 93% (-5%) alors que je trouvais un SMD de 0.180 pour deux prévalences binaires de 42% vs 33% (-9%). Ensuite, un gap de 5% proche de 0% ou 100% est à regarder plus à la loupe qu'un gap de 5% proche de 50% (le fold est beaucoup plus élevé), donc je trouve que c'est informatif.

Ayana a écrit:On veut donc une mesure qui ne depende pas de la taille de l'echantillon

Justement, je me demandais si le fait que la formule SMD prenne en compte la variabilité des échantillons ne prenait pas en compte indirectement la taille des échantillons ? Un échantillon petit aura potentiellement une variabilité forte et inversement.

Merci pour le lien que tu as envoyé, j'ai une autre question qui me vient.
Imaginons que j'aie
-une cohorte "A" traité de 1000 patients
-une sous-cohorte "Abis" traité de 400 patients (provenant de la cohorte de 1000 patients)
-une cohorte "P" placebo de 400 patients
Imaginons que je calcule le SMD entre "A" et "P" puis que je calcule le SMD entre "Abis" et "P", est-ce que tu penses que les deux SMD calculés seront comparables ? Dans le premier SMD, on compare 1000 patients avec 400; dans le second on compare 400 patients avec 400 autres patients. Logiquement la variance du groupe traité sera plus faible dans le premier cas ("A"), ce qui fait que le SMD devrait être plus grand dans le cas "A".
Est-ce que tu penses que c'est envisageable de comparer des SMD calculés sur des tailles d'échantillons différentes ?

Bonne journée

zezima a écrit:Le SMD est utilisé pour évaluer l'homogénéité des distributions entre deux groupes qu'on a essayé "d'équilibrer" (je mets des guillemets pour équilibrer).
Plus le SMD est petit et plus on est content de l'algorithme qu'on a utilisé pour matcher deux sous-populations.

Cette explication ne me satisfait guère (mais - encore une fois - je ne suis pas un spécialiste).

Prenons deux distributions ayant la même moyenne, mais avec de grosses différences hormis ces paramètres de position. Par exemple, l'une est unimodale, l'autre bimodale. L'une à une variance 10 fois plus large que l'autre, etc. L'application de la formule que tu donnes, ayant la différence des moyennes au numérateur, conduira à un SMD de zéro, alors qu'il n"y a aucune homogénéité entre les deux distributions. Ou bien il y a quelque chose que je n'ai pas saisi.

Eric.

Alors je suis d'accord avec Eric.
La SMD ne permet pas de regarder l'homogeneite des distributions, mais est juste une comparaison relativement brute de moyennes. La SMD est pratique pour reperer les gros soucis, mais il ne faut pas lui donner trop d'importance non plus.

Ensuite, tant que tu as un effectif raisonnable, la variance ne dependra pas beaucoup de la taille de l'echantillon (contrairement a l'erreur standard).

Si tu veux comparer A et P et Abis et P, le mieux est de directement representer la densite de la distribution du score de propension dans tes 3 cohortes. Ca te permettra d'avoir un apercu plus gobal des desequilibres.

Enfin, je te deconseille d'utiliser le matching sur le score de propension, sauf si tu as de bonnes raisons pour ne pas utiliser la ponderation, ou une bonne vieille regression multiple suivie d'une standardisation.

Ayana

Oui vous avez raison concernant le fait que le SMD sera un indice mais ne permettra pas de mettre en avant certaines hétérogénéité de distributions.

En fait je voudrais utiliser le matching sur le score de propension car ma problématique n'est pas de comparer l'effet d'un traitement vs placebo sur deux cohortes mais d'essayer d'obtenir une cohorte indépendante la plus proche possible d'une cohorte de référence sur une liste de critères biologiques.
Je ne vois pas d'autres méthodes que le matching pour trouver ces patients de la cohorte indépendante qui sont les plus représentatifs de la cohorte de référence.

Concernant la pondération et la régression multiple, ça correspond à l'Inverse Propensity Weighting et du Propensity-covariate adjustment ?

Je vois.

Concernant la pondération et la régression multiple, ça correspond à l'Inverse Propensity Weighting et du Propensity-covariate adjustment ?

Oui pour la ponderation. Pour la regression, je pensais a une regression multivariable classique, suivie d'une standardisation pour obtenir une estimation marginale plutot que conditionnelle.

zezima, Ayana,

Une question hors-sujet pour vous deux. Pour ce fil de discussion particulier, je ne reçois pas de notifications par mail lorsqu'une réponse est ajoutée (par vous), alors que tout fonctionne bien pour les autres fils de discussion auxquels je participe. Est-ce également votre cas ?

Eric.

Bonjour Eric,

Etrange... J'ai bien reçu toutes les notifications relatives à cette discussion par mail.

Ayana

Merci Ayana. Pas moi. Espérons que ce n'est que pour ce fil de discussion.

Eric.

Bonjour Eric,

Je ne suis pas les sujets (j'ai décoché les options de notifications).
Cependant ça m'arrive plusieurs fois que le site me déconnecte, je ne sais pas si c'est lié.

Merci. Je ne suis pas déconnecté. Et le problème continue. Je vais regarder si ceci est également le cas pour d'autres fils de discussion.

Merci à vous.

Eric.

Est-ce que tu as regardé si les messages étaient dans la boîte spam de ton adresse mail ?

Merci zezima. Je viens à l'instant de trouver le problème et de le résoudre ! J'avais (sûrement par inadvertance) bloqué l'address de messagerie qui envoie les notifications. J'ai mis du temps à retrouver ceci, et ai réussi à présent à débloquer ce problème.

Désolé pour le dérangement, et merci pour vos réponses à toi & Ayana.

Eric.