maximum de vraissemblance - matrice hessienne

Bonjour,

la matrice hessienne du maximum de vraisemblance correspond à la matrice de variance covariance des coefficients.
Pourquoi?

J'imagine que l'explication n'est pas évidente, mais vous avez peut-être des documents bien faits sur le sujet.


Merci
Niaboc

Salut,

J'ai pas de doc sous la main là dessus mais de mémoire c'est l'inverse de l'hessienne qui donne une estimation de la matrice de variance-covariance.

Il faut retenir que pour que la précision de l'estimation d'un paramètre soit élevée (erreur faible), il faut que la pente de la fonction des valeurs possible du paramètre soit élevée. Ainsi on détecte "facilement" le minimum de cette fonction. Dans le cas contraire (pente de la fonction des valeurs du paramètre faible voire nulle), alors il n' y a pas de minimum facilement identifiable et donc on pourra donner un range de valeur très important au paramètre avant de détecter une modification de la pente de sa fonction.

C'est exactement ce que te dit l'hessienne (son inverse). Plus, la valeur de l'hessienne est élevée et plus la précision de l'estimation des paramètres est élevée (variance faible).

Si qqun a un doc qui détaille l'idée je suis preneur aussi .

Nik

Oui après y avoir réfléchi j'étais arrivé à la même explication (j'avais oublié l'inverse effectivement).

j'ai trouvé ces deux documents :

http://www.univ-orleans.fr/deg/masters/ESA/CH/Qualitatif_Chapitre1.pdf

et celui-là qui explicite un peu plus certains calculs sur l'hessienne et la matrice d'information de Fisher:
http://www.stat.tamu.edu/~suhasini/teaching613/inference.pdf

j'ai remis à jour le deuxième lien, j'avais mis le même que le premier...

En parlant de la matrice de covariance.

Il est montré que :

et donc, si on veut tester la significativité des coefficients on a :


mais dans le premier document que j'ai mis en ligne ci-dessus, page 49, j'ai l'impression qu'on "perd" le paramètre 'n' dans la formule???

j'ai vu la même chose page 64 (78 en réalité, section "3.3.5 Tester globalement la nullité des J coecients") dans ce célèbre document sur la régression logistique :

http://eric.univ-lyon2.fr/~ricco/cours/cours/pratique_regression_logistique.pdf

Il y a réellement une erreur? Ou c'est normal que le terme 'n' n’apparaisse pas???

là c'est pas intuitif pour moi donc si j'ai le temps de regarder ça risque qd même de me prendre un certain temps (à priori).
Je vais essayer de décrypter mais c'est certainement pas là où je suis le plus à l'aise

d'accord, merci et à bientôt  

En fait j'ai l'impression d'avoir compris...

Le I représente la matrice d'information de Fisher.
Dans les formules sans le "n", j'ai l'impression que c'est l'estimation de la matrice d'information qui fait disparaitre ce dernier. C'est pourquoi dans certains documents j'ai pu voir des I(n)=n*I.
En effet, l'information de Fisher est indépendante des régresseurs, d'où ce résultat.

C'est pas toujours bien explicite, mais je crois que c'est ça.

Et du coup j'ai une autre questions qui a un rapport avec tout ça :

Est ce que la valeur de la statistique du test du score, wald, vraisemblance, qui sont basés sur cette information de Fisher augmentent avec le nombre de variables dans le modèle??
<=> peut-on comparer deux modèles n'ayant pas le même nombre de variables à l'aide des valeurs de ces statistiques?

Merci

Pour le LRT que je pratique plus oui la vraisemblance augmente avec le nb de paramètre et oui on peut comparer puisque la différence de degré de liberté entre les deux modèles est prises en compte (elle sert à définir l'approximation par le chi² en fixant le nb de ddl).

par contre il faut qu'ils aient été ajusté sur les mêmes données et que l'on puisse au moins considérer que ce sont des modèles emboités au regard du modèle complet.

Du coup, si je comprend bien, ce n'est pas tant la valeur de la statistique de test que tu regardes, mais plus la p-value, car elle prend en compte le nombre de dégré de liberté?

Dans l'évaluation de la p-value sont pris en compte la stat du test et les ddl.
Donc oui je regarde plutôt la-p-value plutôt que la stat du test. C'est peut être une erreur mais j'ai du mal à entrevoir une information dans une valeur de chi².

Comme tu pratiques le LRT, je vais continuer à puiser dans ton savoir :

Ces tests LRT, Wald, score, etc. sont ils similaires à l'AIC / BIC?
donnent-ils des résultats cohérents entre eux?
Quand et pourquoi doit-on utiliser celui-ci plutôt qu'un autre?

L'AIC et BIC pénalise également la taille des modèles, ce que ne fait pas les 3 autres tests? (vraisemblance, score et wald)

Merci

Salut,

(de retour de wacances )
les tests sont très différents des critères d'information. L'AIC ne teste pas une hypothèse mais mesure une différence d'information fournie par le modèle par rapport au modèle vrai. On considère qu'une différence d'AIC de 2 points est une valeur seuil à partir de laquelle on peut considérer un gain d'information substantiel. J'évite volontairement le terme significatif que l'on doit réserver à l'approche par test d'hypothèse.
Donc AIC et tests ne font pas la même chose et ne sont donc pas nécessairement cohérents entre eux.

re,

Il faut surtout rappeler que les statistiques telles que l'AIC et et le BIC sont basées sur des théories relativement éloignées de celles des tests statistiques classiques qu'elles pointes du doight. AIC & co sont donc très différents des tests.

Cdlt

Si je souhaite comparer plusieurs modèles ayant le même nombre de variable et expliquant la même variable.

Les tests de maximum de vraisemblance et les critères AIC, etc. vont retourner le même 'meilleur modèle'. (car basés sur la vraisemblance et même nombre de variable dans tous les modèles à comparer).

Par contre, si l'on comparer les p-value pour les tests de Wald ou du score, le 'meilleur modèle' n'est pas le même que précédemment.

quel modèle est donc à choisir? pourquoi les tests de Wald ou du score donnent des résultats différents de la vraisemblance?

Quel test de vraisemblance as-tu fait ? Tu as comparé les modèles deux à deux ?

Tu parles des test de Wald sur les paramètres des modèles ? Si tel est le cas, si tu as une colinéarité entre tes variables (ce qui est souvent le cas en pratique), même faible, alors d'un modèle à l'autre les estimations du paramètre pour une même variable va changer et donc le test associé.

Le test te permet juste de tester si l’estimation de ton paramètre est égale à 0.

Je compare les modèles deux à deux avec le test de vraisemblance :


oui mais le test de wald sur la nullité de l'ensemble des paramètres.

C'est peut-être la colinéarité (bien qu'étant très faible dans mon cas) qui rentre en jeu.
Ce qui fait que les modèles les mieux ajustés aux données (qui maximisent la vraisemblance) ne sont pas toujours ceux qui ont les p-values les plus fortes sur les tests de wald et du score.

Le test de vraisemblance se fait sur des modèles emboités, je doute que tu puisses les comparer de cette manière.