maximum de vraisemblance

Bonjour,

la question est peut-être évidente, mais j'aimerai avoir confirmation...

Pour utiliser la méthode du maximum de vraisemblance en régression, il faut que la densité de la loi suivie par les erreurs suivent un loi centrée et ayant un maximum en 0? (même si la moyenne de la loi n'est pas 0), ou seulement ayant un maximum en 0??

Je me suis posé la question suite à une régression dont les erreurs suivent une loi de Gumbel.

Merci

Bonjour,

le maximum de vraissemblance est un des critères qui peut servir à estimer des paramètres. La loi, c'est à toi de la défnir pour savoir comment calculer la vraissemblance, selon les processus que tu sous entends. Dans le cas d'une régression linéaire, je ne vois pas pourquoi tu te focalises sur le max des des erreurs, pour ce qui est du calcul de la vraisemblance. Ce qui importe c'est effectivement que les erreurs suivent une loi normale centrée, donc moyenne de 0. Ca c'est une des conditions de la régression, mais pour le calcul de la vraisemblance, tu considères surtout, que chaque observation est issue d'une loi normale de paramètre y chapeau (la valeur estimée) et de variance s2 (la variance des résidus).

Cdlt

"Dans le cas d'une régression linéaire, je ne vois pas pourquoi tu te focalises sur le max des des erreurs"
Ben parce que si les erreurs suivent une loi normale, la densité atteint son maximum en 0, d'où l'intérêt de maximiser la vraisemblance? (et on rejoint un peu le principe des moindres carrés, ou il faut minimiser l'erreur du coup...)


Pour la régression de Gumbel, les erreurs suivent une loi de Gumbel... mais la moyenne de cette loi n'est pas 0 (elle est >0). Par contre la densité prend son maximum en 0!
y'a-t-il une conséquence à cela?

Et du coup je me demandais s'il existait des cas ou le maximum de la densité de la loi des erreurs n'est pas 0?

Dans le cas de la régression linéaire, le fait de maximiser la vraisemblance revient effectivement à minimiser la somme du carré des écarts. Néanmoins, le modèle linéaire est un cas particulier. Dans les autres cas ce qui compte c'est d'écrire ça vraisemblance correctement et de la maximiser (en général on minimise le -log(vraisemblance)), ici il n'est pas question de minimiser des écarts.
Exemple du cas d'une loi de poisson :

Code:

# le calcul du log de la vraisemblance
logvraineg <- function (y, ypred)
{
    sum(dpois(y, ypred, log = T))
}
# fonction a minimiser
f <- function(para, y, x){
a <- para[1]
b <- para[2]

pred <- a+b*x
pred <- exp(pred)

-logvraineg(y, pred)
}

x <- rnorm(100)
# ici log(y) = 2 - 1.5x
y <- rpois(100, exp(2-1.5*x))

nlm(f, c(0,0), y=y, x=x)
$minimum
[1] 225.8082

$estimate
[1]  2.064136 -1.471535

$gradient
[1] -4.195506e-05 -1.493577e-04

$code
[1] 1

$iterations
[1] 9

# on retrouve bien la relation théorique

# si on compare avec un glm
coef(glm(y~x, family=poisson))
(Intercept)          x
  2.064142  -1.471532


J'espère qu'avec cet exemple c'est plus clair. Ici il n'est pas question de la moyenne et du max des erreurs, mais bien de probabilité.
Après je ne connais pas la régression de Gumbel, mais ce qui compte c'est la manière d'écrire la vraisemblance.

Oui c'est plus clair, mais je me rends compte que la fonction de masse d'une loi de poisson, prend toujours son maximum à la valeur de sa moyenne... donc ça tombe bien car en maximisant la vraisemblance tu maximises le fait que P(Y=y).

Imaginons (bon c'est pour l'exemple hein) que pour la loi de Poisson, la fonction de masse prenait son maximum à E(Y)+2, en maximisant la vraisemblance, tu maximiserais donc le fait que P(Y=y+2) et non plus P(Y=y). Le maximum de vraisemblance pourrait-il toujours être appliqué?

Imaginons que l'on a affaire à une loi ou le maximum de probabilité ne tombe pas sur la valeur 'qui nous arrange'?
Une régression ou les résidus suivent une loi du khi-deux, c'est possible?

niaboc a écrit:la fonction de masse d'une loi de poisson, prend toujours son maximum à la valeur de sa moyenne

Non. Regarde pour une v.a X avec lambda = 1, le maximum s'observe pour x=0 et x=1. De même si lamda = 2.6 alors le maximum est pour 2 et non 3.

Oui je me suis un peu embrouillé en fait... :S et mon post précédent ne tient pas la route en fait. Merci pour tes explications.

l'objectif c'est bien de trouver des paramètres qui maximisent la probabilité d'observer les données sachant la loi de distribution des données.

je profite de ton savoir pour te poser quelques questions supplémentaires


Est-ce que cela se fait (sur un certain type de données?),a du sens de faire une estimation d'une variable continue par maximum de vraisemblance pour un modèle linéaire non pas via un loi normale mais par une loi logistique par exemple?

Y=a+bx +r avec r qui suit une loi logistique standard et non pas une normale.

cette phrase est-elle correct ?: Les MCO ne pourraient pas s'appliquer car les résidus suivraient systématiquement une loi normale, d'ou l'utilisation du maximum de vraisemblance si l'on suppose que les résidus suivent une loi logistique


La loi normale est-elle systématiquement utilisée afin de pouvoir avoir des propriétés pratiques sur les paramètres?