Les posteurs les plus actifs de la semaine
Aucun utilisateur |
Sujets les plus vus
Matrice d'information de Fisher
2 participants
Page 1 sur 1
Matrice d'information de Fisher
Bonjour à tous (et bonnes vacances pour ceux que ça concerne) !
Ma question sera courte et très simple : j'ai récemment lu dans
plusieurs publications de stat appliquées que pour tout modèle, la
matrice d'information de Fisher était égale à l'inverse de la matrice
de covariance. Cf par exemple ici :
http://bmbolstad.com/teaching/Stat215b/Lab4/Fisher_Information.pdf
Ma question : why ?
Ma définition de la matrice d'info de Fisher est la "classique"
(matrice de covariance du score, qui est lui-même le gradient de la
log-vraisemblance). Je ne vois pas comment on peut se ramener à
l'inverse de la matrice de variance "initiale" à partir de là.
Si vous avez une démo, de la doc ou des références je suis preneur !
Ma question sera courte et très simple : j'ai récemment lu dans
plusieurs publications de stat appliquées que pour tout modèle, la
matrice d'information de Fisher était égale à l'inverse de la matrice
de covariance. Cf par exemple ici :
http://bmbolstad.com/teaching/Stat215b/Lab4/Fisher_Information.pdf
Ma question : why ?
Ma définition de la matrice d'info de Fisher est la "classique"
(matrice de covariance du score, qui est lui-même le gradient de la
log-vraisemblance). Je ne vois pas comment on peut se ramener à
l'inverse de la matrice de variance "initiale" à partir de là.
Si vous avez une démo, de la doc ou des références je suis preneur !
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
? Le doc donne la bonne définition de l'info de Fisher ; à part ça je ne connais pas de définition de matrice de variance-covariance qui ait un rapport avec ce contexte.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Hello,
Pourtant j'ai vu sur des tonnes d'articles, ainsi tout simplement que sur wikipedia, que (X'X)^-1 était la matrice de Fisher, i.e. que l'inverse de la matrice de variance covariance (de quoi, d'ailleurs, je n'en sais rien !) était égal à l'info de Fisher. Et ce doc le confirme...
Pourtant j'ai vu sur des tonnes d'articles, ainsi tout simplement que sur wikipedia, que (X'X)^-1 était la matrice de Fisher, i.e. que l'inverse de la matrice de variance covariance (de quoi, d'ailleurs, je n'en sais rien !) était égal à l'info de Fisher. Et ce doc le confirme...
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
En fait, je vois ! C'est lié au fait que l'estimateur du maximum de vraisemblance suit asymptotiquement une loi gaussienne dont la matrice de variance-covariance est l'inverse de l'info de Fisher.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Ce serait alors un lien entre une espèce de matrice de Fisher asymptotique et la matrice de covariance, why not...
Alors toutefois, nouvelle trouvaille, le site PlanetMath (http://planetmath.org/encyclopedia/FisherInformationMatrix.html) précise quant à lui que ce n'est valable que pour les modèles linéaires ! Ils prennent néanmoins des pincettes : "it can be shown that..."
C'est si difficile à prouver ?
Alors toutefois, nouvelle trouvaille, le site PlanetMath (http://planetmath.org/encyclopedia/FisherInformationMatrix.html) précise quant à lui que ce n'est valable que pour les modèles linéaires ! Ils prennent néanmoins des pincettes : "it can be shown that..."
C'est si difficile à prouver ?
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
... j'ai l'impression que tu confonds tout...
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Peut-être. Mais en même temps c'est bien pour ça que je viens poster sur un forum, non ? Si tout était clair pour moi je ne serais pas là...
Et d'autre part, tu me parles d'EMV et de normalité asymptotique : je ne vois pas spécialement le lien avec ce que j'avais demandé... Je n'ai jamais parlé de situation asymptotique ou de grands échantillons, et je n'ai jamais parlé non plus de maximum de vraisemblance (a priori !).
Je trouve donc un peu étrange ta remarque, puisque ça n'a pas visiblement pas l'air pour l'instant d'être plus clair pour toi que pour moi...
Et d'autre part, tu me parles d'EMV et de normalité asymptotique : je ne vois pas spécialement le lien avec ce que j'avais demandé... Je n'ai jamais parlé de situation asymptotique ou de grands échantillons, et je n'ai jamais parlé non plus de maximum de vraisemblance (a priori !).
Je trouve donc un peu étrange ta remarque, puisque ça n'a pas visiblement pas l'air pour l'instant d'être plus clair pour toi que pour moi...
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Tu as un modèle avec un paramètre theta. De cela tu tires la matrice d'information de Fisher.
Jusqu'ici il n'y a pas de matrice de variance-covariance en jeu, n'est-ce pas ?
Un théorème fort connu en stats dit que le max de vraisemblance de theta, après renormalisation par 1/racine(n), converge en loi vers une gaussienne dont la matrice de covariance est l'inverse de l'info de Fisher évaluée en la valeur du vrai paramètre theta.
C'est le seul lien que je connaisse entre matrice de Fisher et matrice de variance-covariance ; à mon avis c'est de ça qu'ils parlent les stateux.
Jusqu'ici il n'y a pas de matrice de variance-covariance en jeu, n'est-ce pas ?
Un théorème fort connu en stats dit que le max de vraisemblance de theta, après renormalisation par 1/racine(n), converge en loi vers une gaussienne dont la matrice de covariance est l'inverse de l'info de Fisher évaluée en la valeur du vrai paramètre theta.
C'est le seul lien que je connaisse entre matrice de Fisher et matrice de variance-covariance ; à mon avis c'est de ça qu'ils parlent les stateux.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Un petit coup de Google confirme ce que je dis :
(http://archimede.mat.ulaval.ca/rcs/cgi-rcs/recherche.cgi?soumettre=Afficher&cote=260110&nbre=10)L'inverse de la matrice d'information de Fisher est communément
utilisée comme approximation de la matrice de covariance des
estimateurs du maximum de vraisemblance.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Oui, j'avais déjà vu ce lien. Mais à mon avis, précisément, ce n'est pas de cela dont ils parlent ici :
"Now, in linear regression model with constant variance ² , it can be shown that the Fisher information matrix I is :
A priori, il ne s'agit absolument pas d'EMV ni de normalité asymptotique...
Et dans le cas d'un modèle linéaire classique où les erreurs suivant une loi N(0,1), la matrice de Fisher est alors effectivement une matrice de covariance... (Mais pas un inverse de matrice de covariance, et c'est là que tout plante).
Cf aussi Wikipedia :
"Now, in linear regression model with constant variance ² , it can be shown that the Fisher information matrix I is :
1/sigma² X'X
where X is the design matrix of the regression model."A priori, il ne s'agit absolument pas d'EMV ni de normalité asymptotique...
Et dans le cas d'un modèle linéaire classique où les erreurs suivant une loi N(0,1), la matrice de Fisher est alors effectivement une matrice de covariance... (Mais pas un inverse de matrice de covariance, et c'est là que tout plante).
Cf aussi Wikipedia :
Fisher information is widely used in optimal experimental design. Because of the reciprocity of estimator-variance and Fisher information, minimizing the variance corresponds to maximizing the information.
When the linear (or linearized) statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix".
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Ton doc donne la matrice de Fisher pour un modèle linéaire, quel est le problème ?
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Ben euh, d'une part qu'il n'est précisé nulle part explicitement que le modèle est linéaire, mais seulement qu'il y a p paramètres.
Et d'autre part, que le document et que Wikipedia affirment que l'info de Fisher, dans le cadre de modèles linéaires, est égale à à l'inverse de la matrice de variance des estimateurs, ce dont je suis sûr au vu du nombre de fois que je croisé cette assertion dans des publis de recherche, et que je suis incapable de le prouver.
Et enfin, troisième problème, Mathworld affirme également que l'info de Fisher est (X'X), où X est une matrice de "design", et je ne pige même pas exactement ce que cela signifie.
Il y a donc beaucoup de problèmes.
Et d'autre part, que le document et que Wikipedia affirment que l'info de Fisher, dans le cadre de modèles linéaires, est égale à à l'inverse de la matrice de variance des estimateurs, ce dont je suis sûr au vu du nombre de fois que je croisé cette assertion dans des publis de recherche, et que je suis incapable de le prouver.
Et enfin, troisième problème, Mathworld affirme également que l'info de Fisher est (X'X), où X est une matrice de "design", et je ne pige même pas exactement ce que cela signifie.
Il y a donc beaucoup de problèmes.
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Un autre fait important mettant en jeu la matrice de Fisher est la borne de Cramer-Rao httphttp://en.wikipedia.org/wiki/Cram%C3%A9r-Rao_inequality://
Ce théorème dit que tout estimateur de theta a une variance plus grande que l'inverse de l'info de Fisher. Comme on préfère les estimateurs avec variance minimale, ce théorème nous dit que le meilleur estimateur possible a une variance au mieux égale à l'inverse de l'info de Fisher.
Ce théorème dit que tout estimateur de theta a une variance plus grande que l'inverse de l'info de Fisher. Comme on préfère les estimateurs avec variance minimale, ce théorème nous dit que le meilleur estimateur possible a une variance au mieux égale à l'inverse de l'info de Fisher.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
"linear regression model" = "modèle linéaire"
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Et d'autre part, que le document et que Wikipedia affirment que l'info
de Fisher, dans le cadre de modèles linéaires, est égale à à l'inverse
de la matrice de variance des estimateurs, ce dont je suis sûr au vu du
nombre de fois que je croisé cette assertion dans des publis de
recherche, et que je suis incapable de le prouver.
Tu peux montrer où Wikipédia dit ça ?
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Et enfin, troisième problème, Mathworld affirme également que l'info de
Fisher est (X'X), où X est une matrice de "design", et je ne pige même
pas exactement ce que cela signifie.
Un modèle linéaire est défini par une matrice X appellé "matrice de design" ou "matrice des predicteurs" par exemple. C'est une constante du modèle.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Ici :
Ou bien je pige mal l'Anglais, ou bien c'est les math.
When the linear statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix"
Ou bien je pige mal l'Anglais, ou bien c'est les math.
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Quoi ici ? D'où sort cette phrase ?? Donne le lien !
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Aqui !
http://en.wikipedia.org/wiki/Fisher_information#Optimal_design_of_experiments
Et c'est précisément ça qui me perturbe depuis près de deux semaines...
http://en.wikipedia.org/wiki/Fisher_information#Optimal_design_of_experiments
Et c'est précisément ça qui me perturbe depuis près de deux semaines...
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Frederic Santos a écrit:Ici :When the linear statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix"
Ou bien je pige mal l'Anglais, ou bien c'est les math.
Ok j'ai vu. A mon avis c'est parce que dans le cas très particulier des modèles linéaires, l'info de Fisher est l'inverse de la matrice de covariance des estimateurs classiques (moindres carrés ou maximum likelihood), même en non-asymptotique.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Et c'est "prouvable" assez simplement, or not at all ?
Parce qu'en plus, tu mets le doigt sur un truc important en disant "matrice de covariance des estimateurs classiques" ! Parce qu'ils sont sympa, tous, mais ils parlent de matrice de variance des estimateurs... point barre. Mais quels estimateurs ? Ca laisserait presque sous-entendre que c'est vrai pour tout estimateur et toute situation !
Et dans le cas du doc joint en PDF, c'est le pompon : il ne précise même pas qu'il s'agit de modèles linéaires, et quand tu vois ça, tu te dis que c'est vrai pour tout modèle quelconque et tout estimateur quelconque... Ca a de quoi perturber.
Alors pour prouver le truc, il faudrait donc se placer dans le cas de modèles de régression linéaires "habituels", calculer les EMV, calculer (formellement !) la matrice de variance de ces machins, et constater que c'est la même chose (toujours formellement) qu'en prenant la hessienne de la log vraisemblance...
Enfin, ces docs/articles sont tous très mal écrits, ou c'est moi qui ai vraiment du mal ?
Parce qu'en plus, tu mets le doigt sur un truc important en disant "matrice de covariance des estimateurs classiques" ! Parce qu'ils sont sympa, tous, mais ils parlent de matrice de variance des estimateurs... point barre. Mais quels estimateurs ? Ca laisserait presque sous-entendre que c'est vrai pour tout estimateur et toute situation !
Et dans le cas du doc joint en PDF, c'est le pompon : il ne précise même pas qu'il s'agit de modèles linéaires, et quand tu vois ça, tu te dis que c'est vrai pour tout modèle quelconque et tout estimateur quelconque... Ca a de quoi perturber.
Alors pour prouver le truc, il faudrait donc se placer dans le cas de modèles de régression linéaires "habituels", calculer les EMV, calculer (formellement !) la matrice de variance de ces machins, et constater que c'est la même chose (toujours formellement) qu'en prenant la hessienne de la log vraisemblance...
Enfin, ces docs/articles sont tous très mal écrits, ou c'est moi qui ai vraiment du mal ?
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Re: Matrice d'information de Fisher
Enfin, ces docs/articles sont tous très mal écrits, ou c'est moi qui ai vraiment du mal ?
Le paragraphe de Wiki n'est pas clair du tout. Le doc pdf ne précise pas de quelle covariance il s'agit.
Tu as aussi du mal, car sur PlanetMaths ce n'est qu'un catalogue de formules des informations de Fisher pour différents modèles, rien d'autre et toi tu y vois autre chose.
Alors pour prouver le truc, il faudrait donc se placer dans le cas de
modèles de régression linéaires "habituels", calculer les EMV, calculer
(formellement !) la matrice de variance de ces machins, et constater
que c'est la même chose (toujours formellement) qu'en prenant la
hessienne de la log vraisemblance...
Oui, tu peux regarder les formules des estimateurs d'une part, et la formule de l'info de Fisher d'autre part, et constater que c'est pareil (si ça l'est..). Le théorème que j'ai cité dit que c'est toujours vrai asymptotiquement pour le max de vraisemblance.
popotam- Nombre de messages : 371
Date d'inscription : 27/09/2006
Re: Matrice d'information de Fisher
Ca promet de grands moments de fun alors ! Bon eh bien je vais essayer ça. Maintenant que je sais à peu près ce qu'il faut faire, ce n'est que du calcul : il n'y a donc pas de raison que je n'y arrive pas...
Merci à toi en tout cas, et bonne journée !
Merci à toi en tout cas, et bonne journée !
Frederic Santos- Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009
Sujets similaires
» Matrice d'information de Fisher et matrice de covariance
» Analyse test de Fisher comparaison 2 à 2 (fisher.multcomp)
» Lien entre le test F de Fisher et la loi de Fisher
» ACP et matrice corrélation
» matrice de transition
» Analyse test de Fisher comparaison 2 à 2 (fisher.multcomp)
» Lien entre le test F de Fisher et la loi de Fisher
» ACP et matrice corrélation
» matrice de transition
Page 1 sur 1
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum
|
|