Comparaison de proportions qui évoluent dans le temps

Bonjour,

J'applique un traitement pour la vigne, et je cherche à savoir à quel moment l'appliquer afin de maximiser le nombre de pieds guéris par la suite. Ainsi, pour cinq groupes différents (cinq dates d'application différentes), je mesure la proportion de pieds guéris à quatre dates ultérieures (qui ont du sens en terme du développement de la vigne). Mettons pour fixer les idées que mes mesures ont lieu les 01/03, 01/04, 01/05 et 01/06.

Première analyse (locale)

Si je veux comparer l'efficacité des traitements à terme, je peux comparer les proportions de pieds guéris le 01/06 dans les cinq groupes. Le test du khi-deux me semble approprié pour cela.

Une première question au passage : y a-t-il mieux ? Le test du khi-deux va comparer les cinq groupes sans tenir compte de leur ordre (date d'application du traitement), on perd donc un peu d'information. Ne peut-on pas faire autre chose ? Par exemple une régression pour chaque date d'observation (ainsi en abscisse on a les différentes dates d'application, qui sont ordonnées, et on peut observer une éventuelle tendance), et regarder si le coefficient de corrélation est statistiquement différent de 0 (ou la pente différente de 0, lequel est le mieux ?).
Si, dans un groupe donné, je veux vérifier que la proportion de pieds guéris évolue dans le temps, j'ai affaire à des données appariées et je peux apparemment appliquer un test de Cochran.

Seconde analyse (globale) Mon interrogation principale se trouve là.

Si je m'embête à faire des mesures les 01/03, 01/04, 01/05 et 01/06, c'est que j'aimerais dans l'idéal trouver la manière de traiter qui non seulement guérit le plus de pieds, mais aussi le plus rapidement.
Ainsi, si pour le groupe 1 j'obtiens respectivement 30%, 40%, 50% et 60% de pieds guéris aux quatre dates de mesure, et pour le groupe 2 40%, 50%, 55% et 60%, j'aimerais tester le fait que le groupe 2 donne des résultats significativement meilleurs, alors qu'à la dernière date la proportion de pied guéris est la même.

Que faire ? Faut-il s'attaquer à la (lourde) théorie sur les séries temporelles ?

Merci d'avance.

analyse de survie: courbes de kaplan-meyer, logrank

c@ssoulet a écrit:analyse de survie: courbes de kaplan-meyer, logrank

Oulà..

Premièrement, c'est "Kapan-Meier", par "kaplan-meyer" (Si "C@ssoulet" invente un test un jour, comment devrions-nous réagir si quelqu'un appelle ce test "kassoulais"??).

Par ailleurs, la question concerne le traitement de pourcentages de survie, par le traitement de données de survie. On est dans cas binomial, pas dans le cadre de l'analyse de survie.

Maintenant, pour (tenter de) répondre à la question, je vois plusieurs problèmes ici.

Il semble que ce soient les mêmes pieds qui sont suivis au cours du temps, donc les données ne sont pas indépendantes, sauf si on fait des comparaisons à chaque date séparément (et donc, dans ce cas, un simple chi2 peut - oui - faire l'affaire, même si il existe d'autres méthodes).

Par ailleurs, l'idée de la régression n'est pas la bonne, car - justement - ce sont des pourcentages qui sont à traiter ici (donc binomial), alors que la regression est pour des données distribuées normalement.

Bref, il faut - je pense - partir sur un modèle binomial (GLM), mais sur données répétées au cours du temps, et là ça se complique sensiblement. Soit un GEE, soit un modèle mixte, mais la mise en oeuvre de ce genre de modèles demande un apprentissage, et tout dépend donc de votre niveau en stats.

HTH, Eric.

Je reste sur mon idée de l'analyse de survie. Le problème n'est pas d'imposer l'expression des résultats en %, l'idée n'est pas bonne. Si il veut analyser ça correctement et simplement, il rentre chaque pied dans sa base, les dates de début et de fin des observations, la censure (pied malade/non malade) et l'ordi fait les courbes et l'analyse en quelques clics, sans gros risque de se tromper.
Si il n'évalue ses pieds qu'à intervalle régulier, plutôt que des courbes de Kaplan (j'ose plus écrire meillaire) il sort des courbes actuarielles et wallou c'est torché et il peut partir a la plage

Bon Ok. I faut demander à Abaca17 si il/elle est plus intéressé/e par les taux de survie ou les durées de survie. Il n'y a que lui/elle qui pourra trancher.

Eric.

Évaluer le taux de survie ou le délai n'est pas un problème puisque l'analyse de survie évalue les 2. Les courbes de Kaplan représentent l'évolution des taux cumulés a chaque évènement, les courbes acuarielles l'évolution des taux cumulés évalués a intervalles réguliers, ce qui semble correspondre à ce que veut faire notre ami.

Comme dans beaucoup de situations on peut évaluer ça avec des outils et des méthodes statistiques diverses. L'analyse de survie (ou analyse des transitions si on veut être moins macabre) va travailler sur le délai d'apparition et le nombre d'évènements. On n'a donc pas se préoccuper des problèmes d'observations successives non indépendantes qui sont un abîme de complexité pour les débutants.

Merci à tous les deux pour vos réponses, la discussion est éclairante. De ce que j'en comprends, l'analyse de survie me convient (et les taux pour les taux ne m'intéressent pas, au passage).

Pour en revenir à l'idée de la régression, je ne comprends pas la remarque d'Eric (données non normales) :
1) je croyais que c'était la normalité des résidus qu'il fallait vérifier (et encore, sans trop pinailler...), pas celle des données. On m'aurait menti ?
2) quand bien même, et si la v.a qui collecte mes pourcentages suit bien une loi binomiale (ce qui n'est même pas clair pour moi !), la loi normale n'a t-elle pas justement été construite comme une approximation de la loi binomiale ?

Abaca17 a écrit:1) je croyais que c'était la normalité des résidus qu'il fallait vérifier (et encore, sans trop pinailler...), pas celle des données. On m'aurait menti ?

C'est sensiblement la même chose. Un résidu n'est juste que la valeur observée moins la valeur prédite. Soustraire une valeur ne change guère la distribution des données. Du coup, on s’intéresse à la distribution des données à analyser, avant tout calcul, afin de choisir - avant - celui qui convient.

Abaca17 a écrit:2) quand bien même, et si la v.a qui collecte mes pourcentages suit bien une loi binomiale (ce qui n'est même pas clair pour moi !), la loi normale n'a t-elle pas justement été construite comme une approximation de la loi binomiale ?

Oui, mais si on est autour de 50% et si chaque pourcentage est calculé sur un nombre suffisent de points. Ca fait pas mal de "si".. Il ne faut pas rêver, si on se rapproche de zéro ou de 100%, la distribution d'une loi binomiale n'est plus symétrique et on n'est plus dans le cas gaussien. Enfin, un pourcentage a une variation (une SE), qu'il faut prendre en compte. Deux individus sur 10, ca fait un pourcentage de 20%, mais 200 individus sur 1000 également, alors que dans le deuxième cas la variance de ce pourcentage est bien plus faible. Un modèle binomial prendra ceci en considération, alors qu'un modèle gaussien ne le fera pas..

HTH, Eric.

Bonjour Eric.

Je ne comprends pas trop ta réponse au 1. Les résidus sont calculés en enlevant une valeur variable aux valeurs observées. Dire que ça ne change pas la distribution est aller un peu loin. Dans les bons cas, on passe par exemple d'une série fortement croissante, éventuellement régulière, à une série de résidus aléatoirement positifs ou négatifs, de moyenne nulle, etc.

Cordialement.

Concernant ce dernier point, j'ai fait quelques simulations numériques (je ne doute pas qu'il existe de la théorie là-dessus, si quelqu'un a une référence ?) avec R, et il semble que les résidus suivent plus facilement une distribution normale que les données de départ.

Plus précisément, si je simule des données normales, et que je compare les p-valeurs (Shapiro-Wilk) des données et des résidus j'obtiens en moyenne une différence de 0,35 : la p-valeur est nettement plus grande pour les résidus que pour les données de base. Cela, quels que soient les paramètres de la loi normale choisie, et quel que soit le nombre d'observations (!).

Pire, si je simule des données réparties suivant n'importe quelle loi uniforme, la p-valeur augmente en moyenne de 0,62.

En bref, j'ai l'impression que l'hypothèse de normalité des résidus est moins contraignante que celle des données.

gg a écrit:Bonjour Eric.

Je ne comprends pas trop ta réponse au 1. Les résidus sont calculés en enlevant une valeur variable aux valeurs observées. Dire que ça ne change pas la distribution est aller un peu loin. Dans les bons cas, on passe par exemple d'une série fortement croissante, éventuellement régulière, à une série de résidus aléatoirement positifs ou négatifs, de moyenne nulle, etc.

Cordialement.

On enlève une valeur variable et on change donc l'espérance, oui, mais on ne change pas le type de distribution. Si on ajuste par exemple un modèle poissonnien sur des données de comptage, on ne retombe pas sur des résidus gaussiens. Par exemple, dans ce cas, la variance continuera à augmenter avec la moyenne de la variable à expliquer. Quand bien même les résidus deviendraient gaussiens, dans ce cas il serait de toute façon erroné de partir sur un modèle pour données normales.

En d'autres termes, regarder la gueule des résidus permet peut-être de savoir si modèle s'ajuste bien aux données (encore que, dans un GLM, c'est loin d'être aussi simple), mais ne renseigne pas sur le fait de savoir si c'est le modèle qui convient (comme dans l'exemple du modèle poissonien ci-dessus).

Eric.

Tout à fait d'accord avec ce que tu dis, sauf la première phrase. Comme pour chacune des valeurs de la variable expliquée on soustrait une valeur différente (celle donnée pour le modèle pour les valeurs des variables explicatives qui avaient donné ce résultat), on modifie bien la répartition. Je ne comprends pas trop pourquoi tu voudrais nier ce fait évident; j'ai l'impression que tu as une idée en tête (avec laquelle je serais d'accord si tu l'exprimais) mais que tu utilises des mots qui ne sont pas les bons (du genre "modèle gaussien" pour "modèle linéaire").

Cordialement.

Imaginons que l'on a plusieurs valeurs de la variable y pour chaque valeur de x (ce qui est généralement le cas), et que la distribution à chaque valeur de x suive par exemple une loi de Poisson ou Binomiale, non symétrique, etc. Le modèle ajusté fourni - pour chaque valeur de x -une seule prédiction, et donc toutes les valeurs de y pour une même valeur de x seront soustraites par la même valeur. Pour chaque valeur de x, la distribution résultante des résidus ne deviendra pas normale par magie. On aura juste une translation de la distribution, sans changement de sa forme. Je ne dis que ceci.

Eric.

Donc tu ne parles pas de "la distribution des données" mais de la distribution théorique pour une valeur de la variable explicative (ou des valeurs des variables explicatives), ce qui est tout autre chose. Et qui explique la question de Abaca17 (" je croyais que c'était la normalité des résidus qu'il fallait vérifier (et encore, sans trop pinailler...), pas celle des données. On m'aurait menti ?"), à laquelle tu n'as pas répondu, pensant à autre chose.
Maintenant, on est d'accord.

Cordialement.

Je parle bien de la distribution des données observées (les valeurs en Y sur lesquels l'ajustement est fait), et ces données suivent une distribution théorique (en fait plusieurs distributions théoriques), comment dans tout modèle de régression. Et - oui - je pense donc que le choix du modèle ne dépend pas de la distribution des résidus, d'où ma réponse à ce post. La distribution des résidus intervient - après et éventuellement - pour vérifier la qualité de l'ajustement, mais pas pour le choix du modèle.

Il me semble être clair..

Eric.

On est d'accord sur ce que tu dis, mais ta réponse à Abaca17 ne disait pas cela. Relis-le, mets-toi dans son état d'esprit, puis relis ta réponse sans a-priori sur ce que tu voulais dire.

C'est d'autant plus important que des enseignants de statistiques dans certaines facs font systématiquement tester la Normalité de l'ensemble des données d'un type avant de pratiquer des études genre régression.

Cordialement.

NB : J'ai réagi à ce que tu donnais comme réponse à Abaca17. Je ne peux pas deviner à quoi tu penses.

Ok gg, mais j'ai beau relire ma réponse initiale, et je ne vois pas en quoi cette réponse ne correspond pas à mes explications. Abaca17 propose de regarder la distribution des résidus. Je répond que ce n'est pas la bonne idée. Qu'il faut plutôt s’intéresser à la distribution des valeurs à modéliser. J'ai l'impression de ne dire que ceci. Ce n'est pas si compliqué que ça.

En substance je n'ai dit que :

on s’intéresse à la distribution des données à analyser, avant tout calcul, afin de choisir - avant - celui qui convient

Et c'est bien de ceci dont il s'agit.

Bon, à force de répéter ceci encore et encore dans ces échanges, espérons au moins que le message passera correctement.

Cordialement, Eric.

Dont acte !

Le message ne passera correctement, pour moi et pour les autres utilisateurs, que s'il est clair, et non, il ne l'était pas vraiment. Pourquoi parler de "la distribution des données" quand il y en a a priori une pour chaque individu ? J'ai donc entendu la distribution globale, tout comme gg.

Je vais écrire un peu de maths (sans latex...), en espérant que cela évitera les dialogues de sourds malheureusement fréquents en probas/stats.

Pour chaque individu i (des dates ici), on écrit : Yi = a*Xi + b + Ei.

Eric dit dans les premiers messages que regarder la distribution de Yi, ou celle de Ei, c'est mathématiquement pareil (exactement pareil d'ailleurs !), parce qu'entre les deux il n'y a que le terme a*Xi+b, non stochastique. Là, nous sommes tout à fait d'accord. Ce que j'ai toujours lu, c'est qu'on a besoin - a posteriori - de la normalité de Yi/de Ei pour avoir de bonnes propriétés sur les estimateurs.

Je parle bien de la distribution des données observées (les valeurs en Y sur lesquels l'ajustement est fait), et ces données suivent une distribution théorique (en fait plusieurs distributions théoriques), comment dans tout modèle de régression.

Tu dis bien qu'on doit regarder la distribution de Yi avant de choisir le modèle, donc pourquoi parler de régression ici ? Yi est stochastique, mais (c'est ce qui est souvent supposé explicitement dans les références dans lesquelles je me suis replongé) par le seul fait d'être une donnée observée, donc polluée par les erreurs de mesure, etc.

C'est en tout cas comme cela que je l'ai toujours compris : Ei est l'artifice du modèle linéaire, le terme "poubelle" d'un DL du premier ordre qui concentre toutes les variations possibles de yi à xi fixé.

Une des premières régressions que l'on fait dans sa vie, c'est en physique : on mesure des intensités et des tensions dans un circuit électrique. On a bien U = RI (pour de vrai !), et U, comme I, n'a rien de stochastique. Ce sont nos observations qui le sont, qui donnent des points pas tout à fait alignés. Et cela est pris en compte dans le terme Ei du modèle de régression.

Pour en revenir à mon cas, il se trouve qu'à chaque date, le nombre de pieds guéris suit effectivement une loi binomiale. Mais ce ne sont pas mes données observées qui sont, elles, polluées par un bruit (modélisé par Ei). Yi, pour ce que j'en sais, peut très bien suivre une loi normale, non ?

Donc, je ne comprends toujours pas ce qui discrédite mon utilisation d'une régression a priori. Qu'est-ce que je rate ?

Abaca17 a écrit:Pourquoi parler de "la distribution des données" quand il y en a a priori une pour chaque individu ? J'ai donc entendu la distribution globale, tout comme gg.

Il n'y a pas "une distribution pour chaque individu". En revanche, chaque individu provient - oui - d'une distribution. Mais plusieurs individus peuvent provenir de la même. C'est le cas, par exemple (et comme je l'ai expliqué) s'il y a plusieurs Yi pour chaque Xi. Dans ce cas, dans une shéma de régression, toutes les valeurs Yi pour un même Xi sont supposées provenir de la même distribution.

Abaca17 a écrit:Ce que j'ai toujours lu, c'est qu'on a besoin - a posteriori - de la normalité de Yi/de Ei pour avoir de bonnes propriétés sur les estimateurs.

Non. Ceci n'est vrai que dans un modèle gaussien (ou les Yi suivent des lois normales). Dans le cas de modèles poissoniens, ou binomiaux, par exemple, les Yi ne sont par définition pas gaussiens, et les erreurs non plus (sans quoi on aurai des comptages décimaux, des pourcentages négatifs, etc). C'est là le coeur de la discussion ici.

Abaca17 a écrit:Tu dis bien qu'on doit regarder la distribution de Yi avant de choisir le modèle, donc pourquoi parler de régression ici ?

Parce qu'on fait ceci pour ajuster une régression. C'est juste ceci.

Abaca17 a écrit:Une des premières régressions que l'on fait dans sa vie, c'est en physique : on mesure des intensités et des tensions dans un circuit électrique. On a bien U = RI (pour de vrai !), et U, comme I, n'a rien de stochastique. Ce sont nos observations qui le sont, qui donnent des points pas tout à fait alignés. Et cela est pris en compte dans le terme Ei du modèle de régression.

La variation des données (et donc leur distribution) peut venir d'erreur de mesure, effectivement, mais pas forcément. En biologique par exemple, ca provient de toutes les sources de variations non identifiées, et il peut y en avoir un paquet !

Abaca17 a écrit:Pour en revenir à mon cas, il se trouve qu'à chaque date, le nombre de pieds guéris suit effectivement une loi binomiale.

Deux points (importants) ici. Vous n'êtes donc pas dans un modèle gaussien (cf mes remarques ci-dessus). Par ailleurs, si vous parlez de comptages, vous êtes alors dans un modèle pour données de Poisson, pas binomial. Même si les deux sont liés, ce n'est pas du tout la même chose. Les variances ne sont pas les mêmes, les distributions non plus, etc. Je pense qu'il va falloir tirer ceci au clair.

Abaca17 a écrit:Mais ce ne sont pas mes données observées qui sont, elles, polluées par un bruit (modélisé par Ei). Yi, pour ce que j'en sais, peut très bien suivre une loi normale, non ?

Non, pas forcément. Voir mes remarques ci-dessus. Si vous ajouter un bruit gaussien par exemple à une variable binomiale, elle va sortir de l'intervalle [0, 1] et ne sera plus binomiale. Je pense - une fois encore - qu'on est au coeur de la discussion, et que c'est tout ceci que vous devez tirer au clair.

Abaca17 a écrit:Donc, je ne comprends toujours pas ce qui discrédite mon utilisation d'une régression a priori. Qu'est-ce que je rate ?

L'idée de régression n'est pas discréditée. La question est en revanche : quelle type de régression ? Il en existe pour données gaussiennes, pour données de poisson, binomiales, de Weibul, etc. Et même des régressions non paramétriques. Il semble que vous avez le schéma gaussien en tête, et celui-ci uniquement. J'ai l'impression que c'est ceci qui vous bloque.

HTH, Eric.