Les posteurs les plus actifs de la semaine
Kaidozaki
 


maximum de vraisemblance

Voir le sujet précédent Voir le sujet suivant Aller en bas

maximum de vraisemblance

Message par niaboc le Jeu 12 Déc 2013 - 7:19

Bonjour,

la question est peut-être évidente, mais j'aimerai avoir confirmation...

Pour utiliser la méthode du maximum de vraisemblance en régression, il faut que la densité de la loi suivie par les erreurs suivent un loi centrée et ayant un maximum en 0? (même si la moyenne de la loi n'est pas 0), ou seulement ayant un maximum en 0??

Je me suis posé la question suite à une régression dont les erreurs suivent une loi de Gumbel.

Merci

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par droopy le Jeu 12 Déc 2013 - 16:59

Bonjour,

le maximum de vraissemblance est un des critères qui peut servir à estimer des paramètres. La loi, c'est à toi de la défnir pour savoir comment calculer la vraissemblance, selon les processus que tu sous entends. Dans le cas d'une régression linéaire, je ne vois pas pourquoi tu te focalises sur le max des des erreurs, pour ce qui est du calcul de la vraisemblance. Ce qui importe c'est effectivement que les erreurs suivent une loi normale centrée, donc moyenne de 0. Ca c'est une des conditions de la régression, mais pour le calcul de la vraisemblance, tu considères surtout, que chaque observation est issue d'une loi normale de paramètre y chapeau (la valeur estimée) et de variance s2 (la variance des résidus).

Cdlt

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par niaboc le Jeu 12 Déc 2013 - 20:49

"Dans le cas d'une régression linéaire, je ne vois pas pourquoi tu te focalises sur le max des des erreurs"
Ben parce que si les erreurs suivent une loi normale, la densité atteint son maximum en 0, d'où l'intérêt de maximiser la vraisemblance? (et on rejoint un peu le principe des moindres carrés, ou il faut minimiser l'erreur du coup...)


Pour la régression de Gumbel, les erreurs suivent une loi de Gumbel... mais la moyenne de cette loi n'est pas 0 (elle est >0). Par contre la densité prend son maximum en 0!
y'a-t-il une conséquence à cela?

Et du coup je me demandais s'il existait des cas ou le maximum de la densité de la loi des erreurs n'est pas 0?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par droopy le Jeu 12 Déc 2013 - 21:47

Dans le cas de la régression linéaire, le fait de maximiser la vraisemblance revient effectivement à minimiser la somme du carré des écarts. Néanmoins, le modèle linéaire est un cas particulier. Dans les autres cas ce qui compte c'est d'écrire ça vraisemblance correctement et de la maximiser (en général on minimise le -log(vraisemblance)), ici il n'est pas question de minimiser des écarts.
Exemple du cas d'une loi de poisson :
Code:
# le calcul du log de la vraisemblance
logvraineg <- function (y, ypred)
{
    sum(dpois(y, ypred, log = T))
}
# fonction a minimiser
f <- function(para, y, x){
a <- para[1]
b <- para[2]

pred <- a+b*x
pred <- exp(pred)

-logvraineg(y, pred)
}

x <- rnorm(100)
# ici log(y) = 2 - 1.5x
y <- rpois(100, exp(2-1.5*x))

nlm(f, c(0,0), y=y, x=x)
$minimum
[1] 225.8082

$estimate
[1]  2.064136 -1.471535

$gradient
[1] -4.195506e-05 -1.493577e-04

$code
[1] 1

$iterations
[1] 9

# on retrouve bien la relation théorique

# si on compare avec un glm
coef(glm(y~x, family=poisson))
(Intercept)          x
  2.064142  -1.471532
J'espère qu'avec cet exemple c'est plus clair. Ici il n'est pas question de la moyenne et du max des erreurs, mais bien de probabilité.
Après je ne connais pas la régression de Gumbel, mais ce qui compte c'est la manière d'écrire la vraisemblance.

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par niaboc le Ven 13 Déc 2013 - 7:22

Oui c'est plus clair, mais je me rends compte que la fonction de masse d'une loi de poisson, prend toujours son maximum à la valeur de sa moyenne... donc ça tombe bien car en maximisant la vraisemblance tu maximises le fait que P(Y=y).

Imaginons (bon c'est pour l'exemple hein) que pour la loi de Poisson, la fonction de masse prenait son maximum à E(Y)+2, en maximisant la vraisemblance, tu maximiserais donc le fait que P(Y=y+2) et non plus P(Y=y). Le maximum de vraisemblance pourrait-il toujours être appliqué?

Imaginons que l'on a affaire à une loi ou le maximum de probabilité ne tombe pas sur la valeur 'qui nous arrange'?
Une régression ou les résidus suivent une loi du khi-deux, c'est possible?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par droopy le Ven 13 Déc 2013 - 8:11

niaboc a écrit:la fonction de masse d'une loi de poisson, prend toujours son maximum à la valeur de sa moyenne
Non. Regarde pour une v.a X avec lambda = 1, le maximum s'observe pour x=0 et x=1. De même si lamda = 2.6 alors le maximum est pour 2 et non 3.

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par niaboc le Ven 13 Déc 2013 - 10:05

Oui je me suis un peu embrouillé en fait... :S et mon post précédent ne tient pas la route en fait. Merci pour tes explications.

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par droopy le Ven 13 Déc 2013 - 13:47

l'objectif c'est bien de trouver des paramètres qui maximisent la probabilité d'observer les données sachant la loi de distribution des données.

droopy

Nombre de messages : 985
Date d'inscription : 04/09/2009

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par niaboc le Ven 13 Déc 2013 - 17:57

je profite de ton savoir pour te poser quelques questions supplémentaires Very Happy


Est-ce que cela se fait (sur un certain type de données?),a du sens de faire une estimation d'une variable continue par maximum de vraisemblance pour un modèle linéaire non pas via un loi normale mais par une loi logistique par exemple?

Y=a+bx +r avec r qui suit une loi logistique standard et non pas une normale.

cette phrase est-elle correct ?: Les MCO ne pourraient pas s'appliquer car les résidus suivraient systématiquement une loi normale, d'ou l'utilisation du maximum de vraisemblance si l'on suppose que les résidus suivent une loi logistique


La loi normale est-elle systématiquement utilisée afin de pouvoir avoir des propriétés pratiques sur les paramètres?

niaboc

Nombre de messages : 865
Age : 29
Localisation : Paris
Date d'inscription : 05/05/2008

Voir le profil de l'utilisateur

Revenir en haut Aller en bas

Re: maximum de vraisemblance

Message par Contenu sponsorisé Aujourd'hui à 12:29


Contenu sponsorisé


Revenir en haut Aller en bas

Voir le sujet précédent Voir le sujet suivant Revenir en haut

- Sujets similaires

 
Permission de ce forum:
Vous ne pouvez pas répondre aux sujets dans ce forum