Chap Stat 4

Estimation paramètrique II
Skander HACHICHA
skander.hachicha@ipeit.rnu.tn
Université de Tunis El Manar

Ecole nationale d’ingénieurs de Tunis
Estimation paramètrique II 1 / 42
Skander HACHICHA 1 / 42
Information de Fisher
Borne de Rao-Cramer
Soit le modèle statistique (X , A, Pθ : θ ∈ Θ).
On suppose les hypothèses H1 − H4 sont vérifiées et de plus on
suppose
H5 Pour tout θ ∈ Θ la matrice d × d d’information de Fisher I(θ)
existe et elle est symétrique et définie positive.
Borne de Rao-Cramer
Définition
Un estimateur T (X1 , · · · , Xn ) de g(θ) est dit régulier dans un
modèle régulier si Vθ (T (X)) < +∞ et
R
X n T (x)f (x, θ)dx est dérivable par rapport à θ sous le symbole
d’intégration :
∂Eθ (T (X)) ∂ ∂f (x, θ)

Z Z
= T (x)f (x, θ)dx = T (x) dx
∂θi ∂θi Xn Xn ∂θi
Borne de Rao-Cramer
On suppose que Θ ⊂ R. Soit g : Θ −→ R une application de classe
C 1.
Théorème
On suppose que les hypothèses H1 − H5 sont vérifiés. Si
Tn (X1 , · · · , Xn ) est un estimateurs sans biais de g(θ), alors
1
dg(θ)
= cov(Tn (X1 , · · · , Xn ), S(X1 , · · · , Xn , θ)
dθ
2 La variance de l’estimateur Tn (X1 , · · · , Xn ) est telle que :
V(Tn (X1 , · · · , Xn )) ≥
dg(θ) 2

2
(cov(Tn (X1 , · · · , Xn )), S(X1 , · · · , Xn , θ)) dθ
=
In (θ) In (θ)
Borne de Rao-Cramer
Par définition, l’information de fisher est le nombre réel défini par
2 !
d log f (X, θ)

I(θ) = Eθ
dθ
Comme T (X) est un estimateur sans biais de g(θ), on a

Z
E(T (X)) = g(θ) = T (x)f (x, θ)dx
Xn
Borne de Rao-Cramer
En dérivant par rapport à θ, on a :
dg(θ) d
Z
= T (x)f (x, θ)dx
dθ dθ Xn
df (x, θ)
Z
= T (x) dx
Xn dθ
d log f (x, θ)
Z
= T (x) f (x, θ)dx
ZX
n dθ
= T (x)S(x, θ)f (x, θ)dx
Xn
= E(T (X)S(X, θ))
Borne de Rao-Cramer
Comme E(S(X, θ)) = 0, alors dg(θ)
dθ = cov(T (X), S(X, θ)) Par suite
d’après l’inégalité de Cauchy-Schwarz, on a
2
dg(θ)

= (cov(T (X), S(X, θ)))2 ≤ V(T (X))V(S(X, θ))
dθ
= V(T (X))In (θ)
et donc 2
dg(θ) 1

V(T (X)) ≥
dθ In (θ)
Remarque
Dans le cas où g est l’identité, on a
1
Eθ (T (X1 , · · · Xn ) − θ)2 ≥
In (θ)
Méthode de substition
On suppose que l’on dispose d’un estimateur Tn de θ ∈ Θ. Soit

φ : Θ −→ φ(Θ) une fonction. On peut alors construire un estimateur
de φ(θ) en substituant θ par Tn à savoir φ(Tn ). La méthode des
moments est la plus naturelle puisqu’elle se justifie par la loi des
grands nombres, pour estimer des paramètres définis à partir des
moments centrés ou non centrés.
Méthode des moments
Définition
Soit (X1 , · · · , Xn ) un n−échantillon de loi Pθ admettant des
moments jusqu’à l’ordre r. On note mi = Eθ (X1i ), Pour tout
i ∈ {1, · · · r}. on appelle moment empirique d’ordre i, la variable
aléatoire
n
1X
i
Xn= Xi
n k=1 k
qui est un estimateur du moment mi (θ) = Eθ (X1i ).
Comme les paramètres d’une loi de probabilités sont reliés aux

momemts centrés ou non centrés, on peut donc en général les obtenir
en fonctions des r premiers moments. Ainsi, on estime les r premiers
moments par les moments empiriques et en en déduit les estimateurs
des paramètres en résolvant un système de p équations à p inconnues
(en général ce système n’est pas linéaire).
Remarque
De même g(X 1 n , · · · , X r n ) un estimateur de g(m1 (θ), · · · , mr (θ))
sera obtenu par. Ainsi
1 La moyenne empirique
n
1X
Xn = Xk
n k=1
est un estimateur sans biais et convergent de m1 (θ) = Eθ (X1 ).

2 Le moment empirique d’ordre 2
n
1X
X2 n = X2
n k=1 k
est un estimateur sans biais et convergent de m2 (θ) = Eθ (X12 ).

Remarque
D’après ce qui précède
n n
1X 1X
Sn02 = Xk2 − (X n )2 = (Xk − X n )2
n k=1 n k=1
est un estimateur convergent de V(X1 ) = E(X12 ) − (E(X1 ))2 . Mais

ce n’est pas un estimateur sans biais. En effet,
1
E (X n )2 = 2
Eθ (X1 + · · · + Xn )2
n  
n n X
1 X X
= Eθ  X 2 + Xi Xj 
i
n2 i=1 i=1 i6=j
n n X
1 X 1 X
= Eθ Xi2 + Eθ (Xi Xj )
n2 i=1
n2 i=1 i6=j
Remarque
Comme X1 , · · · , Xn sont indépendantes et de même loi donc
Eθ (Xi Xj ) = Eθ (Xi )Eθ (Xj ) = (Eθ (X1 ))2
Eθ (X12 )

n(n − 1)
E (X n ) 2
= + 2
(Eθ (X1 ))2
n n
et par suite
Eθ (X12 )

n−1
E Sn02 = Eθ (X12 ) − − (Eθ (X1 ))2
n n
n−1
= Eθ (X12 ) − (Eθ (X1 ))2
n
n−1
= V(X1 )
n
Remarque
Soient (X1 , · · · , Xn ) un n−échantillon de loi Pθ et ϕ une fonction
continue de R dans R telle que ϕ(Xi ) admet un moment d’ordre 1.
Alors E(ϕ(Xi )) peut être estimeé par la moyenne empirique de
l’échantillon (ϕ(X1 ), · · · , ϕ(Xn )) :
n
1X
ϕ(X)n = ϕ(Xi ).
n i=1
Si le paramètre θ s’exprime en fonction de E(ϕ(Xi )), on peut donc en

déduire un estimateur de θ. Inversement si E(X) = ϕ(θ) où ϕ est une
fonction bijective alors l’estimateur de θ par la méthode des moments
est θbn = ϕ−1 (Xn ).
Exemple
Soit (X1 , · · · , Xn ) un n−échantillon de loi uniforme sur {1, · · · , θ}
telle que pour tout x ∈ {1, · · · , θ}, P(Xi = x) = 1θ . Ainsi, on a
θ
X i θ(θ + 1) θ+1
E(Xi ) = = = .
i=1
θ 2θ 2
L’estimateur de θ est alors Tn = 2X n − 1 ce qui est clairement un

mauvais estimateur, en particulier si maxi Xi > 2X n − 1 puisque
θ ≥ maxi Xi .
Proposition
Soit (X1 , · · · , Xn ) un n−échantillon de loi Pθ d’espérance m et de
variance σ 2 .
La moyenne empirique X n = n1 nk=1 Xk
P
1
est un estimateur sans biais de la moyenne m. De plus X n est

meilleur que tout autre estimateur sans biais linéaire
Yn = nk=1 ak Xk .
P
1 n
La variance empirique Sn2 = n−1 k=1 (Xk − X n )
2
P
2
est un estimateur sans biais de la variance σ 2 .
Proposition
1 La moyenne et la variance empiriques sont des estimateurs
consistants de m et σ 2 respectivement : pour tout θ ∈ Θ, on a
P P
θ
X n −→ m et Sn2 −→
θ
σ2.
2 La variable aléatoire
!
Xn − m √ Xn − m
= n
√σ σ
n
suit approximativement la loi normale N (0, 1).

3 La variable aléatoire
S 2 − σ2
pn
V(Sn2 )
suit approximativement la loi normale N (0, 1).
Démonstration
Il est clair que X n est sans biais. Soit Yn = nk=1 ak Xk un
P
estimateur sans biais de m donc Eθ (Yn ) = nk=1 ak m = m et par

P
Pn
suite k=1 ak = 1. Ainsi
n
!
X
RY (θ) = V(Y ) = V ak Xk
k=1
n n
! !
X X
= a2k Vθ (X1 ) = a2k σ 2
k=1 k=1
Or nk=1 ak = 1 et donc nk=1 a2k ≥ n1 avec égalité si et seulement si

P P
ak = n1 pour tout k ∈ {1, · · · n}. En effet, on a

n 2
X 1
ak − ≥0
k=1
n
Pn
2a 1
d’où a2 − k
+
Skander HACHICHA≥ 0 ou17encore
/ 42
Démonstration

Pn 2ak 1 Pn 2 1
d’où k=1 a2k − n + n2
≥ 0 ou encore 2
k=1 ak − n + n ≥ 0,
ainsi nk=1 a2k ≥ 1
P
n et
de plus il y a égalité si et seulement si
ak − n1 = 0 pour tout k ∈ {1, · · · n}.
Un calcul simple montre que
n
X
(n − 1)Sn2 = (Xk − m)2 − n(X n − m)2 .
k=1
Pn 2

Or Eθ k=1 (Xk − m) = nVθ (X1 ) et
1
Eθ n(X n − m)2 = nV(X n ) = n nVθ (X1 )
n2
et donc Eθ (Sn2 ) = Vθ (X1 ) = σ 2 .
Démonstration
La loi forte des grands nombres s’applique : pour tout θ ∈ Θ
P −p.s
(X n − m)2 −→
θ
n−→+∞ 0
θ P −p.s
puisque X n − m −→ n−→+∞ 0 et
n
1X Pθ −p.s
(Xk − m)2 −→ 2
n−→+∞ σ .
n k=1
n−1 2 Pθ −p.s P −p.s

et donc n Sn −→ σ 2 et par suite Sn2 −→
θ
σ2.
Remarque
Soit (X1 , · · · , Xn ) un n−échantillon de loi Pθ d’espérance m et de
variance σ 2 . Si m est connue alors
n
1X
Sn02 = (Xk − m)2
n k=1
est un estimateur sans biais de σ 2 . Dans ce cas Sn02 est meilleur que
Sn2 . On a
n−1
cov(X n , Sn02 ) = E((X − E(X))3 )
n
Remarque
p
On peut estimer l’ecart-type
p σppar l’estimateur Sn2 mais il n’est pas
2 E(Sn2 ) (on n’a pas de résultat
sans biais puisque E( Sp n ) 6=
général sur la qualité de Sn2 ) .
Maximum de vraisemblance
Estimateurs du maximum de vraisemblance

Etant donné un n−échantillon observé (x1 , · · · , xn ) et une loi de
probabilité Pθ , la vraisemblance quantifie la probabilité que les
observations proviennent effectivement d’un échantillon (théorique)
de la loi Pθ . Prenons l’exemple de 10 lancers de pièce. L’échantillon
binaire observé est par exemple
0, 1, 1, 0, 1, 1, 1, 0, 0, 1.
Pour un échantillon de taille 10 de loi de Bernoulli de paramètre p, la

probabilité d’une telle réalisation est p6 (1 − p)4 . Voici quelques
valeurs numérique,
p 0,2 0,3 0,4 0,5 0,6

p6 (1 − p)4 2, 6.10−5 1, 8.10−4 5, 3.10−4 9, 8.10−4 1, 2.10−3
p 0,7 0, 8
p6 (1 − p)4 9, 5.10−4 4, 2.10−4
Il est naturel de choisir comme estimation de p, celle pour laquelle la

probabilité de l’échantillon observé est la plus forte, à savoir ici
p = 0, 6.
Définition
Soit (X , A, Pθ : θ ∈ Θ) un modèle statstique où Θ est un ouvert non
vide de R. Soit X une v.a de loi Pθ et de densité f (x, θ). Pour tout
x ∈ X (réalisation de X) on appelle vraisemblance associé à x
l’application
L(x, .) : Θ −→ R∗+
θ −→ L(x, θ) = f (x, θ)
Conséquence
1 Si X est discrète. Pour tout x ∈ X ,
L(x, θ) = f (x, θ) = Pθ (X = x)
2 Si X est v.a de densité fθ . Pour tout x ∈ X ,
L(x, θ) = f (x, θ) = fθ (x)

Définition
Soit (X1 , · · · , Xn ) un n−échantillon de loi Pθ . On appelle
vraisemblance associé à la réalisation (x1 , · · · , xn ) de l’échantillon
(X1 , · · · , Xn ), l’application
L(x1 , · · · , xn , .) : Θ −→ R+
n
Y
θ −→ L(x1 , · · · , xn , θ) = f (xi , θ)
i=1
Un estimateur T (X1 , · · · , Xn ) de θ à valeurs dans Θ est appelé

estimateur du maximum de vraisemblance (EMV) si
L(x1 , · · · , xn , T (x1 , · · · , xn )) = sup L(x1 , · · · , xn , θ).

θ∈Θ

Conséquence
( Q
n
fθ (xi ) si Pθ est absolument continue d
L(x1 , · · · , xn , θ) = Qi=1
n
i=1 Pθ (Xi = xi ) si Pθ est discrète
Une réalisation de l’estimateur T (X1 , · · · , Xn ) est une valeur de θ

qui maximise la vraisemblance ou encore, une valeur de θ qui rend
l’échantillon obtenu le plus probable. Soit (X1 , · · · , Xn ) un
n−échantillon de loi Pθ discrète. Donc la probabilité que
l’échantillon (X1 , · · · , Xn ) ait pour réalisation l’échantillon observé
(x1 , · · · , xn ) est le produit des probabilités pour que Xi prenne la
valeur xi , à savoir
L(x1 , · · · , xn , θ) = Pθ (X1 = x1 ) · · · Pθ (Xn = xn ).

Conséquence
Ainsi, L(x1 , · · · , xn , θ) est soit la probabilité conjointe
P(X1 = x1 , · · · , Xn = xn ) du n-uplet (X1 , · · · , Xn ) soit sa densité
fθ (x1 , · · · , xn ) = ni=1 fθ (xi ) si elles sont absolument continues. De
Q
plus, la probabilité et la densité dans la défintion de la vraisemblance

sont fonctions des observations (x1 , · · · , xn ) dépendant du paramètre
θ. A l’inverse la fonction vraisemblance est considérée comme
fonction de θ dépendant des observations (ce qui permet, par exemple
de dériver cette fonction par rapport à θ).
Exemple
Soit (X1 , · · · , Xn ) un n−échantillon de loi uniforme sur l’intervalle
[0, θ] de densité fθ (x) = 1θ I[0,θ] (x)
La vraisemblance est alors définie par
n n
Y 1 Y
L(x1 , · · · , xn , θ) = fθ (xi ) = I (xi )
i=1
θn i=1 [0,θ]
1
= I n (x1 , · · · , xn )
θn [0,θ]
1
= I (x)
θn [0≤Inf (xi )≤max(xi )≤θ]
1
= I (x)I[max(xi )≤θ] (x)
θn [0≤Inf (xi )]
1
= I (θ)
θn [max(xi ),+∞[
Exemple
Vue comme fonction de θ, la vraisemblance est nulle si θ est inférieur
à la plus grande des valeurs observées, elle vaut θ1n sinon. Elle est
donc maximale pour
θbn = max(x1 , · · · , xn )
Pour la plupart des probabilité usuelles, l’estimateur de maximum de

vraisemblance est défini de façon unique et se calcule explicitement.
Sur le plan théorique, il présente de nombreux avantages. Sous des
hypothèses vérifiées par de nombreux modèles courants, on démontre
qu’il est asymptotiquement sans biais et convergent. On démontre de
plus que sa variance est minimale. La méthode du maximum de
vraisemblance est donc théoriquement la meilleur des méthodes
d’estimation.

Remarque
Ainsi la méthode de maximum de vraisemblance consiste à prendre
comme estimateur T (x1 , · · · , xn ) tel que
L(x1 , · · · , xn , T (x1 , · · · , xn )) ≥ sup L(x1 , · · · , xn , θ) ∀θ ∈ Θ

θ∈Θ
Une réalisation de T (X1 , · · · , Xn ) est une valeur de θ qui maximise

la vraisemblance ou encore une valeur de θ qui rend l’échantillon
observé le plus probable.
Calcul des estimateurs de maximum de vraisemblance

On suppose que (X1 , · · · , Xn ) prend ses valeurs dans un ensemble
qui ne depend pas de l’ensemble Θ. On suppose les les hypothèses
H1 − H3 sont vérifiées :
Alors θbn l’estimateur du maximum de vraisemblance de θ est solution
du système

∂L
 ∂θ
 =0
 θ=θbn

 ∂2L

<0

∂θ2 θ=θbn
Or L(x1 , · · · , xn , θ) > 0 pour tout θ ∈ Θ il est plus facile d’utiliser le

logarithme de la vraisemblance log L(x1 , · · · , xn , θ), puisque la
vraisemblance est un produit de probabilité d’événements ou de
densité qui peut être assez compliqué à dérivée et le logarithme de la
vraisemblance est une somme qui est plus facile à calculer
∂L
1 la fonction log est croissante et de classe C ∞ et ∂ log
∂θ
L
= ∂θ
L et
donc
∂L ∂ log L
= 0 si et seulement si = 0.
∂θ ∂θ
2 par dérivation successive on a
∂L
∂2L 2
∂ 2 log L ∂( ∂ log L
∂θ ) ∂( ∂θ
L ) ∂θ2
L − ( ∂L
∂θ )
2 ∂ L
∂θ2
L ( ∂L
∂θ )
2
2
= = = = −
∂θ ∂θ ∂θ L2 L2 L2
!
∂2L
∂ 2 log L

∂θ 2
et donc ∂θ2
= L et par suite
θ=θbn
θ=θbn
! !
∂2L ∂ 2 log L
< 0 si et seulement si < 0.
∂θ2 θ=θbn
∂θ2 θ=θbn

Ainsi
 
∂L ∂ log L
 ∂θ = 0  ∂θ = 0

 

2 si et seulement si 2
 ∂∂θL2 <0  ∂ log2 L <0

 

θ=θbn ∂θ θ=θbn

Exemple
( estimation du paramètre d’une loi de Poisson)
Soit (X1 , · · · , Xn ) un n−échantillions de loi de poisson P(θ)
θx
P(X = x) = e−θ .
x!
On se propose d’estimer le paramètre inconnu θ. L’ensemble des
observations possibles est Nn et le paramètre inconnu est θ ∈]0, +∞[.
Ainsi si (x1 , · · · , xn ) ∈ Nn est l’échantillon observé, alors
Pn
θ k=1 xk
L(x1 , · · · , xn , θ) = e−nθ Qn
k=1 xk !
Pn
Alors log L(x1 , · · · , xn , θ) = −nθ + ( k=1 xk ) log(θ) − constante
Exemple
( estimation du paramètre d’une loi de Poisson)
d’où Pn
∂ log L xk
= −n + k=1 =0
∂θ θ
d’où elle s’annule pour θbn = xn . La dérivée seconde est
Pn
∂ 2 log L k=1 xk θbn
=− = −n
∂θ2 θ2 θ2
!
∂ 2 log L n
= − Pn <0
∂θ2 θ=θbn k=1 xk
Il s’agit donc bien d’un maximum, et par suite θbn = xn est

l’estimateur de maximum de vraisemblance de θ.
Exemple
( estimation de l’espérance d’une loi normale N (m, σ) , où σ est
connu)
Soit (X1 , · · · , Xn ) un n−échantillon de loi normale N (m, σ) , où σ
est connu et de densité
1 (x−m)2
fm (x) = √ e− 2σ2 .
σ 2π
On se propose d’estimer le paramètre inconnu m connaissant σ.
L’ensemble des observations possibles est Rn et le paramètre inconnu
est m ∈ R. Ainsi si (x1 , · · · , xn ) ∈ Rn est un échantillon observé,
alors Pn 2
(2π)−n/2 − k=1 (x2k −m)
L(x1 , · · · , xn , m) = e 2σ
σn

Exemple
connu) P n
(x −m)2
k=1 k
log L(x1 , · · · , xn , m) = −n log(σ) − 2σ 2
+ constante d’où
Pn
∂ log L k=1 (xk − m)
= =0
∂m σ2
d’où m
b n = xn . D’autre part, on a
∂ 2 log L n
2
=− 2
∂m σ

Exemple
connu)
et par suite !
∂ 2 log L
<0
∂m2 m=mb n
Il s’agit donc bien d’un maximum, et par suite m

b n = xn est
l’estimateur de maximum de vraisemblance de m.
Propriétés des estimateurs du MV
Proposition
Soit θbn l’EMV de θ. Si Tn est un estimateur exhaustive de θ, alors θbn
est fonction de T .
D’aprés le critètre de factorisation, on peut trouver deux fonctions g et

h telles que
Ln (θ) = f (x1 , · · · , xn ) = g(x1 , · · · , xn )h(T (x1 , · · · , xn ), θ)
et donc
max Ln (θ) = max h(T (x1 , · · · , xn ), θ)
θ∈Θ θ∈Θ
et par conséquent l’EMV θbn qui satisfait par définition
h(T (x1 , · · · , xn ), θbn ) ≥ h(T (x1 , · · · , xn ), θ), ∀θ ∈ Θ
ne dépend que de T (X1 , · · · , Xn ).

Remarque
L’EMV lui même n’est pas forcément exhaustive. En effet, soit X une
v.a de loi U[θ, 2θ] de densité
1
f (x, θ) = 1[θ,2θ] (x)
θ
La vraisemblance d’un n−échnatillon (X1 , · · · , Xn ) de même loi que
X est donc
1
Ln (θ) = 1θ≤inf 1≤i≤n Xi ≤sup1≤i≤n Xi ≤2θ
θn
La statistique (inf 1≤i≤n Xi , sup1≤i≤n Xi ) est exhaustive minimale
pour θ.
Remarque
D’autre part, l’EMV θbn est donnée par définition par la valeur
sup1≤i≤n Xi

θ∈ , inf Xi
2 1≤i≤n
qui minimise θn et donc qui maximise Ln (θ) (on remarque que

sup1≤i≤n Xi
2 ≤ inf 1≤i≤n Xi presque sûrement). On déduit que l’EMV
est
sup1≤i≤n Xi
θbn =
2
et que θbn ne peut être exhaustive pour θ.
Proposition
Sous les hypothèse H0 − H4 , si θ0 est la vraie valeur du paramètre θ,
alors il existe une suite θbn des solutions de l’equation de
vraisemblance qui converge p.s vers θ0 :
p.s
θbn −→ θ0
On dit que l’EMV est consistant.
Proposition
Sous les hypothèse H0 − H6 , on a pour toute solution θbn de
p.s
l’equation de vraisemblance telle que θbn −→ θ0 où θ0 est la vraie
valeur du paramètre θ, alors
√ loi
n(θbn − θ0 ) −→ N (O, I −1 )
On dit que l’EMV est aymptotiquement efficace.
Merci

Chap Stat 4

Transféré par

Droits d'auteur :

Formats disponibles

Chap Stat 4

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chap Stat 4

Transféré par

Droits d'auteur :

Formats disponibles

Estimation paramètrique II

Université de Tunis El Manar

∂Eθ (T (X)) ∂ ∂f (x, θ)

Comme T (X) est un estimateur sans biais de g(θ), on a

On suppose que l’on dispose d’un estimateur Tn de θ ∈ Θ. Soit

qui est un estimateur du moment mi (θ) = Eθ (X1i ).

Comme les paramètres d’une loi de probabilités sont reliés aux

est un estimateur sans biais et convergent de m1 (θ) = Eθ (X1 ).

est un estimateur sans biais et convergent de m2 (θ) = Eθ (X12 ).

est un estimateur convergent de V(X1 ) = E(X12 ) − (E(X1 ))2 . Mais

Eθ (Xi Xj ) = Eθ (Xi )Eθ (Xj ) = (Eθ (X1 ))2

Si le paramètre θ s’exprime en fonction de E(ϕ(Xi )), on peut donc en

L’estimateur de θ est alors Tn = 2X n − 1 ce qui est clairement un

est un estimateur sans biais de la moyenne m. De plus X n est

est un estimateur sans biais de la variance σ 2 .

suit approximativement la loi normale N (0, 1).

estimateur sans biais de m donc Eθ (Yn ) = nk=1 ak m = m et par

Or nk=1 ak = 1 et donc nk=1 a2k ≥ n1 avec égalité si et seulement si

ak = n1 pour tout k ∈ {1, · · · n}. En effet, on a

n−1 2 Pθ −p.s P −p.s

Estimateurs du maximum de vraisemblance

Pour un échantillon de taille 10 de loi de Bernoulli de paramètre p, la

Estimateurs du maximum de vraisemblance

p 0,2 0,3 0,4 0,5 0,6

Il est naturel de choisir comme estimation de p, celle pour laquelle la

Estimateurs du maximum de vraisemblance

Un estimateur T (X1 , · · · , Xn ) de θ à valeurs dans Θ est appelé

L(x1 , · · · , xn , T (x1 , · · · , xn )) = sup L(x1 , · · · , xn , θ).

Estimateurs du maximum de vraisemblance

Une réalisation de l’estimateur T (X1 , · · · , Xn ) est une valeur de θ

L(x1 , · · · , xn , θ) = Pθ (X1 = x1 ) · · · Pθ (Xn = xn ).

Estimateurs du maximum de vraisemblance

plus, la probabilité et la densité dans la défintion de la vraisemblance

Pour la plupart des probabilité usuelles, l’estimateur de maximum de

Estimateurs du maximum de vraisemblance

L(x1 , · · · , xn , T (x1 , · · · , xn )) ≥ sup L(x1 , · · · , xn , θ) ∀θ ∈ Θ

Une réalisation de T (X1 , · · · , Xn ) est une valeur de θ qui maximise

Calcul des estimateurs de maximum de vraisemblance

Or L(x1 , · · · , xn , θ) > 0 pour tout θ ∈ Θ il est plus facile d’utiliser le

Calcul des estimateurs de maximum de vraisemblance

Calcul des estimateurs de maximum de vraisemblance

Il s’agit donc bien d’un maximum, et par suite θbn = xn est

Calcul des estimateurs de maximum de vraisemblance

Calcul des estimateurs de maximum de vraisemblance

Il s’agit donc bien d’un maximum, et par suite m

D’aprés le critètre de factorisation, on peut trouver deux fonctions g et

Ln (θ) = f (x1 , · · · , xn ) = g(x1 , · · · , xn )h(T (x1 , · · · , xn ), θ)

et par conséquent l’EMV θbn qui satisfait par définition

h(T (x1 , · · · , xn ), θbn ) ≥ h(T (x1 , · · · , xn ), θ), ∀θ ∈ Θ

ne dépend que de T (X1 , · · · , Xn ).

qui minimise θn et donc qui maximise Ln (θ) (on remarque que

On dit que l’EMV est consistant.

Vous aimerez peut-être aussi