Forum de Statistiques
Vous souhaitez réagir à ce message ? Créez un compte en quelques clics ou connectez-vous pour continuer.
Les posteurs les plus actifs de la semaine
Aucun utilisateur

-15%
Le deal à ne pas rater :
(Adhérents) LEGO® Icons 10318 Le Concorde
169.99 € 199.99 €
Voir le deal

Matrice d'information de Fisher

2 participants

Aller en bas

Matrice d'information de Fisher Empty Matrice d'information de Fisher

Message par Frederic Santos Jeu 20 Aoû 2009 - 13:55

Bonjour à tous (et bonnes vacances pour ceux que ça concerne) !

Ma question sera courte et très simple : j'ai récemment lu dans
plusieurs publications de stat appliquées que pour tout modèle, la
matrice d'information de Fisher était égale à l'inverse de la matrice
de covariance. Cf par exemple ici :
http://bmbolstad.com/teaching/Stat215b/Lab4/Fisher_Information.pdf

Ma question : why ? Matrice d'information de Fisher Smile01

Ma définition de la matrice d'info de Fisher est la "classique"
(matrice de covariance du score, qui est lui-même le gradient de la
log-vraisemblance). Je ne vois pas comment on peut se ramener à
l'inverse de la matrice de variance "initiale" à partir de là.

Si vous avez une démo, de la doc ou des références je suis preneur !

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Jeu 20 Aoû 2009 - 16:38

? Le doc donne la bonne définition de l'info de Fisher ; à part ça je ne connais pas de définition de matrice de variance-covariance qui ait un rapport avec ce contexte.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Jeu 20 Aoû 2009 - 19:05

Hello,
Pourtant j'ai vu sur des tonnes d'articles, ainsi tout simplement que sur wikipedia, que (X'X)^-1 était la matrice de Fisher, i.e. que l'inverse de la matrice de variance covariance (de quoi, d'ailleurs, je n'en sais rien !) était égal à l'info de Fisher. Et ce doc le confirme...

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Jeu 20 Aoû 2009 - 20:11

En fait, je vois ! C'est lié au fait que l'estimateur du maximum de vraisemblance suit asymptotiquement une loi gaussienne dont la matrice de variance-covariance est l'inverse de l'info de Fisher.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Jeu 20 Aoû 2009 - 21:01

Ce serait alors un lien entre une espèce de matrice de Fisher asymptotique et la matrice de covariance, why not...

Alors toutefois, nouvelle trouvaille, le site PlanetMath (http://planetmath.org/encyclopedia/FisherInformationMatrix.html) précise quant à lui que ce n'est valable que pour les modèles linéaires ! Ils prennent néanmoins des pincettes : "it can be shown that..."
C'est si difficile à prouver ?

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 4:40

... j'ai l'impression que tu confonds tout...

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 7:12

Peut-être. Mais en même temps c'est bien pour ça que je viens poster sur un forum, non ? Si tout était clair pour moi je ne serais pas là...
Et d'autre part, tu me parles d'EMV et de normalité asymptotique : je ne vois pas spécialement le lien avec ce que j'avais demandé... Je n'ai jamais parlé de situation asymptotique ou de grands échantillons, et je n'ai jamais parlé non plus de maximum de vraisemblance (a priori !).

Je trouve donc un peu étrange ta remarque, puisque ça n'a pas visiblement pas l'air pour l'instant d'être plus clair pour toi que pour moi...

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 7:45

Tu as un modèle avec un paramètre theta. De cela tu tires la matrice d'information de Fisher.

Jusqu'ici il n'y a pas de matrice de variance-covariance en jeu, n'est-ce pas ?

Un théorème fort connu en stats dit que le max de vraisemblance de theta, après renormalisation par 1/racine(n), converge en loi vers une gaussienne dont la matrice de covariance est l'inverse de l'info de Fisher évaluée en la valeur du vrai paramètre theta.

C'est le seul lien que je connaisse entre matrice de Fisher et matrice de variance-covariance ; à mon avis c'est de ça qu'ils parlent les stateux.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 7:50

Un petit coup de Google confirme ce que je dis :

L'inverse de la matrice d'information de Fisher est communément
utilisée comme approximation de la matrice de covariance des
estimateurs du maximum de vraisemblance.
(http://archimede.mat.ulaval.ca/rcs/cgi-rcs/recherche.cgi?soumettre=Afficher&cote=260110&nbre=10)

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 7:53

Oui, j'avais déjà vu ce lien. Mais à mon avis, précisément, ce n'est pas de cela dont ils parlent ici :

"Now, in linear regression model with constant variance Matrice d'information de Fisher Char1B² , it can be shown that the Fisher information matrix I is :
1/sigma² X'X
where X is the design matrix of the regression model."

A priori, il ne s'agit absolument pas d'EMV ni de normalité asymptotique...

Et dans le cas d'un modèle linéaire classique où les erreurs suivant une loi N(0,1), la matrice de Fisher est alors effectivement une matrice de covariance... (Mais pas un inverse de matrice de covariance, et c'est là que tout plante).


Cf aussi Wikipedia :
Fisher information is widely used in optimal experimental design. Because of the reciprocity of estimator-variance and Fisher information, minimizing the variance corresponds to maximizing the information.
When the linear (or linearized) statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix".

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:01

Ton doc donne la matrice de Fisher pour un modèle linéaire, quel est le problème ?

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 8:08

Ben euh, d'une part qu'il n'est précisé nulle part explicitement que le modèle est linéaire, mais seulement qu'il y a p paramètres.

Et d'autre part, que le document et que Wikipedia affirment que l'info de Fisher, dans le cadre de modèles linéaires, est égale à à l'inverse de la matrice de variance des estimateurs, ce dont je suis sûr au vu du nombre de fois que je croisé cette assertion dans des publis de recherche, et que je suis incapable de le prouver.

Et enfin, troisième problème, Mathworld affirme également que l'info de Fisher est (X'X), où X est une matrice de "design", et je ne pige même pas exactement ce que cela signifie.

Il y a donc beaucoup de problèmes. Laughing

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:10

Un autre fait important mettant en jeu la matrice de Fisher est la borne de Cramer-Rao httphttp://en.wikipedia.org/wiki/Cram%C3%A9r-Rao_inequality://

Ce théorème dit que tout estimateur de theta a une variance plus grande que l'inverse de l'info de Fisher. Comme on préfère les estimateurs avec variance minimale, ce théorème nous dit que le meilleur estimateur possible a une variance au mieux égale à l'inverse de l'info de Fisher.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:12

"linear regression model" = "modèle linéaire"

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:13

Et d'autre part, que le document et que Wikipedia affirment que l'info
de Fisher, dans le cadre de modèles linéaires, est égale à à l'inverse
de la matrice de variance des estimateurs, ce dont je suis sûr au vu du
nombre de fois que je croisé cette assertion dans des publis de
recherche, et que je suis incapable de le prouver.

Tu peux montrer où Wikipédia dit ça ?

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:14

Et enfin, troisième problème, Mathworld affirme également que l'info de
Fisher est (X'X), où X est une matrice de "design", et je ne pige même
pas exactement ce que cela signifie.

Un modèle linéaire est défini par une matrice X appellé "matrice de design" ou "matrice des predicteurs" par exemple. C'est une constante du modèle.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 8:16

Ici :
When the linear statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix"

Ou bien je pige mal l'Anglais, ou bien c'est les math. geek

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:20

Quoi ici ? D'où sort cette phrase ?? Donne le lien !

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 8:21

Aqui !
http://en.wikipedia.org/wiki/Fisher_information#Optimal_design_of_experiments

Et c'est précisément ça qui me perturbe depuis près de deux semaines...

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:24

Frederic Santos a écrit:Ici :
When the linear statistical model has several parameters, the mean of the parameter-estimator is a vector and its variance is a matrix. The inverse matrix of the variance-matrix is called the "information matrix"

Ou bien je pige mal l'Anglais, ou bien c'est les math. geek

Ok j'ai vu. A mon avis c'est parce que dans le cas très particulier des modèles linéaires, l'info de Fisher est l'inverse de la matrice de covariance des estimateurs classiques (moindres carrés ou maximum likelihood), même en non-asymptotique.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 8:33

Et c'est "prouvable" assez simplement, or not at all ?

Parce qu'en plus, tu mets le doigt sur un truc important en disant "matrice de covariance des estimateurs classiques" ! Parce qu'ils sont sympa, tous, mais ils parlent de matrice de variance des estimateurs... point barre. Mais quels estimateurs ? Ca laisserait presque sous-entendre que c'est vrai pour tout estimateur et toute situation !

Et dans le cas du doc joint en PDF, c'est le pompon : il ne précise même pas qu'il s'agit de modèles linéaires, et quand tu vois ça, tu te dis que c'est vrai pour tout modèle quelconque et tout estimateur quelconque... Ca a de quoi perturber.

Alors pour prouver le truc, il faudrait donc se placer dans le cas de modèles de régression linéaires "habituels", calculer les EMV, calculer (formellement !) la matrice de variance de ces machins, et constater que c'est la même chose (toujours formellement) qu'en prenant la hessienne de la log vraisemblance...

Enfin, ces docs/articles sont tous très mal écrits, ou c'est moi qui ai vraiment du mal ?

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par popotam Ven 21 Aoû 2009 - 8:46

Enfin, ces docs/articles sont tous très mal écrits, ou c'est moi qui ai vraiment du mal ?

Le paragraphe de Wiki n'est pas clair du tout. Le doc pdf ne précise pas de quelle covariance il s'agit.
Tu as aussi du mal, car sur PlanetMaths ce n'est qu'un catalogue de formules des informations de Fisher pour différents modèles, rien d'autre et toi tu y vois autre chose.

Alors pour prouver le truc, il faudrait donc se placer dans le cas de
modèles de régression linéaires "habituels", calculer les EMV, calculer
(formellement !) la matrice de variance de ces machins, et constater
que c'est la même chose (toujours formellement) qu'en prenant la
hessienne de la log vraisemblance...

Oui, tu peux regarder les formules des estimateurs d'une part, et la formule de l'info de Fisher d'autre part, et constater que c'est pareil (si ça l'est..). Le théorème que j'ai cité dit que c'est toujours vrai asymptotiquement pour le max de vraisemblance.

popotam

Nombre de messages : 371
Date d'inscription : 27/09/2006

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Frederic Santos Ven 21 Aoû 2009 - 8:48

Ca promet de grands moments de fun alors ! Bon eh bien je vais essayer ça. Maintenant que je sais à peu près ce qu'il faut faire, ce n'est que du calcul : il n'y a donc pas de raison que je n'y arrive pas...

Merci à toi en tout cas, et bonne journée !

Frederic Santos

Nombre de messages : 11
Localisation : Poitiers
Date d'inscription : 09/07/2009

Revenir en haut Aller en bas

Matrice d'information de Fisher Empty Re: Matrice d'information de Fisher

Message par Contenu sponsorisé


Contenu sponsorisé


Revenir en haut Aller en bas

Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum