Estim

Chapitre 3.
Estimation
El Hachmi HAMMOU
19 novembre 2020
Estimation ponctuelle
Qualité dún estimateur Méthodes déstimation
Propriétés des estimateurs des moments (EMM) Méthode du maximum de vraisemblance
Estimation par Intervalle de confiance
On suppose que les données x1 , . . . , xn sont n réalisations

indépendantes dúne même variable aléatoire sous-jacente X
(variable parente). Il est équivalent de supposer que x1 , . . . , xn sont
les réalisations de variables aléatoires X1 , . . . , Xn indépendantes et
de même loi (i.i.d). Nous adopterons ici la seconde formulation, qui
est plus pratique à manipuler.
Les techniques de statistique descriptive, comme l´histogramme ou
le graphe de probabilités, permettent de faire des hypothèses sur la
nature de la loi de probabilité des X − i. Des techniques
statistiques plus sophistiquées, les tests dádéquation, permettent
de valider ou pas ces hypothèses.
On supposera ici que ces techniques ont permis dádopter une
famille de lois de probabilité bien précise (par exemple, loi normale,
loi de Poisson, etc.) pour la loi des Xi , mais que la valeur du ou
des paramètres de cette loi est inconnue.
On note θ le paramètre inconnu. Le problème traité dans ce
chapitre est celui de léstimation du paramètre θ. Comme on lá
El Hachmi HAMMOU Chapitre 3. Estimation
déjà dit, il ságit de donner, au vu des observations x1 , . . . , xn , une

approximation ou une évaluation de θ que lón espère la plus
proche possible de la vraie valeur inconnue. On pourra proposer
une unique valeur vraisemblable pour θ ou un ensemble de valeurs
vraisemblables (estimation ensembliste ou région (intervalle) de
confiance, dans le chapitre suivant).
On note F (x ; θ) la fonction de répartition des Xi . Pour les
variables aléatoires discrètes on notera P(X = x ; θ) les probabilités
élémentaires, et pour les variables aléatoires continues on notera
f (x ; θ) la densité. Par exemple, quand X est de loi expo-
nentielle, on a, pour x ≥ 0, F (x ; λ) = 1−e −αx et f (x ; α) = αe −αx .

Il existe de nombreuses méthodes pour estimer un paramètre θ. on

ne síntéresse quáux deux méthodes déstimation les plus
usuelles, la méthode des moments et la méthode du maximum de
vraisemblance.
Mais il faut dábord définir précisément ce que sont une estimation
et surtout un estimateur.
Pour estimer θ on ne dispose que des données x1 , . . . , xn , donc une
estimation de θ est une fonction de ces observations.

Définition 1 (Définition dúne statistique)
Une statistique t est une fonction des observations x1 , . . . , xn :
t : Rn → Rm
(x1 , . . . , xn ) → t(x1 , . . . , xn )
Pour simplifier les écritures, on note souvent tn = t(x1 , . . . , xn ) et

Tn = t(X1 , . . . , Xn ).

Définition 2 (Définition dún estimateur)
Un estimateur dúne grandeur θ est une statistique Tn à valeurs

dans lénsemble des valeurs possibles de θ. Une estimation de θ
est une réalisation tn de léstimateur Tn .
Un estimateur est une variable aléatoire, alors quúne estimation
est une valeur déterministe.

Méthode des moments

Léstimateur des moments (EMM) Cést la méthode la plus
naturelle. Lídée de base est déstimer une espérance
mathématique par une moyenne empirique, une variance par une
variance empirique, etc . . .
Si le paramètre à estimer est léspérance, alors on peut léstimer
par la moyenne empirique de l´échantillon. Autrement dit, si
θ = E (X ), alors léstimateur de θ par la méthode des moments
(EMM) est θ̂n = X n = n1 ni=1 Xi .
P
Plus généralement, pour θ ∈ R, si E (X ) = φ(θ), où φ est une

fonction inversible, alors léstimateur de θ par la méthode des
moments est θ̂n = φ−1 (X n ).
De la même manière, on estime la variance de la loi des Xi par la
variance empirique de l´échantillon
n n
1X 1X 2
Sn2 = (Xi − X n )2 = Xi2 − X n .
nHachmi HAMMOU
El n 3. Estimation
Chapitre
Exemples
- Loi de Bernoulli
Si X1 , . . . , Xn sont indépendantes et de même loi de Bernoulli
B(p), E (X ) = p.
Donc léstimateur de p par la méthode des moments est p̂n = X n .
- Loi exponentielle
Si X1 , . . . , Xn sont indépendantes et de même loi exponentielle
1
E(λ), E (X ) = . Donc léstimateur de α par la méthode des
α
moments est λ̂n = 1/X n .
- loi normale
Si X1 , . . . , Xn sont indépendantes et de même loi normale
N (m, σ 2 ), E (X ) = m et V (X ) = σ 2 , donc les estimateurs de m et
σ 2 par la méthode des moments sont m̂ = X n et σ̂ 2 = Sn2 .

Définition 3 (Fonction de vraisemblance)

On appelle fonction de vraisemblance (ou plus simplement
vraisemblance) pour l´échantillon x1 , . . . , xn , la fonction du
paramètre θ
(
P(X1 = x1 , . . . , Xn = xn ; θ) si les Xi sont discrètes
L(θ; x1 , . . . , xn ) =
fX1 ,...,Xn (x1 , . . . , xn ; θ) si les Xi sont continues
Dans tous les exemples, les Xi sont indépendantes et de même loi.
Dans ce cas, la fonction de vraisemblance s´écrit :
 n n
 Y Y



 P(Xi = xi ; θ) = P(X = xi ; θ)
L(θ; x1 , . . . , xn ) = i=1 i=1
n
Y n
Y




 f (x
Xi i ; θ) = f (xi ; θ)
i=1 i=1

Définition 4 Léstimation de maximum de vraisemblance

(EMV) de θ
Léstimation de maximum de vraisemblance de θ est la valeur θ̂n
de θ qui rend maximale la fonction de vraisemblance
L(θ; x1 , . . . , xn ).
Léstimateur de maximum de vraisemblance (EMV) de θ est la
variable aléatoire correspondante.
La plupart des cas, la fonction de vraisemblance séxprime comme
un produit. Donc θ̂n sera en général calculé en maximisant la
log-vraisemblance :
θ̂n = arg max ln L (θ; x1 , . . . , xn ) .
θ=(θ1 ,...,θd )∈Rd
θ̂n est solution du système d´équations appelées équations de

∂
vraisemblance : ∀j ∈ {1, . . . , d}, ln L (θ; x1 , . . . , xn ) = 0.
∂θj
Exemples
- loi de Bernoulli
Soit les Xi , sont de loi B(p), on a :
( )
p si xi = 1
P (Xi = xi ; p) = = p xi (1 − p)1−xi .
1−p si xi = 0
Donc la fonction de vraisemblance est :

n
Y
L (p; x1 , . . . , xn ) = P (Xi = xi ; p)
i=1
Yn
= p xi (1 − p)1−xi
i=1
Pn Pn
x (1−xi )
=p i=1 i (1 − p) i=1 ,

et par suite
n n
! !
X X
ln L (p; x1 , . . . , xn ) = xi ln p + n − xi ln(1 − p)
i=1 i=1
Alors
Pn
n − ni=1 xi
Pn
− np
P
∂ i=1 xi i=1 xi
ln L (p; x1 , . . . , xn ) = − = .
∂p p 1−p p(1 − p)
qui sánnule pour p = n1 ni=1 xi = x n Par conséquent, lÉMV de

P
p est p̂n = X n .
LÉMV de p est p̂n = X n . Le même que lÉMM de p.

- Loi exponentielle
Si les Xi sont de loi E(α), la fonction de vraisemblance est :
n n Pn
λe −λxi = λn e −α x
Y Y
L (α; x1 , . . . , xn ) = fXi (xi ; λ) = i=1 i ,
i=1 i=1
et par suite
n
X
ln L (α; x1 , . . . , xn ) = n ln α − α xi .
i=1
Donc
n
∂ n X
ln L (α; x1 , . . . , xn ) = − xi ,
∂α α i=1
qui sánnule pour
1 n
,
α = Pn =
i=1 xi xn
1
et par conséquent, lÉMV de α est α̂n = .
Xn
- Loi normale
Si les Xi sont de loi N (m, σ 2 ), la fonction de vraisemblance est :
n n (xi −m) 2
1
√ e − 2σ2
Y Y
L m, σ 2 ; x1 , . . . , xn = fXi xi ; m, σ 2 =
i=1 i=1 σ 2π
1 − 12
Pn
(x −m)2
= √ e 2σ i=1 i ,
(σ 2π)n
et par suite
n
n n 1 X
ln L m, σ 2 ; x1 , . . . , xn = − ln σ 2 − ln 2π − 2 (xi − m)2 .
2 2 2σ i=1
On doit annuler les dérivées partielles de ce logarithme par rapport
à m et σ 2 . On a :
n
∂ 1 X
ln L m, σ 2 ; x1 , . . . , xn = − 2 −2 (xi − m)
∂m 2σ i=1
n
!
1 X
= 2 xi − nm ,
El Hachmi HAMMOU σ 3. Estimation
Chapitre
qui sánnule pour

n
1X
m= xi = x n .
n i=1
n
∂ n 1 X
ln L m, σ 2
; x1 , . . . , xn = − + (xi − m)2 ,
∂σ 2 2σ 2 2σ 4 i=1
qui sánnule pour
n
1X
σ2 = (xi − m)2 .
n i=1
m̂n et σ̂n2 sont les valeurs de m et σ 2 qui vérifient les deux
conditions en même temps. On a donc
m̂n = X n
et
n
1X 2
σ̂n2 = Xi − X n = Sn2 .
n i=1
Qualité dún estimateur
Propriétés des estimateurs des moments (EMM)
Un estimateur Tn de θ est un bon estimateur síl est suffisamment

proche, en un certain sens, de θ. Il faut donc définir une mesure de
l´écart entre θ et Tn . On appelle cette mesure le risque de
léstimateur. On a intérêt à ce que le risque dún estimateur soit
le plus petit possible.

Définition 5 (biais)
On appelle le biais de Tn la quantité E (Tn ) − θ.

Un estimateur Tn de θ est sans biais si et seulement si E (Tn ) = θ.
Il est biaisé si et seulement si E (Tn ) 6= θ.

Définition 6 (risque quadratique)
On appelle le risque quadratique ou erreur quadratique moyenne :
EQM(Tn ) = E [(Tn − θ)2 ].

Définition 7
Léstimateur Tn converge en moyenne quadratique vers θ si et

seulement si son erreur quadratique moyenne tend vers θ quand n
tend vers línfini :
h i
MQ
Tn −→ θ ⇔ lim E (Tn − θ)2 = 0.
n→∞
Si Tn est sans biais, il sera convergent en moyenne quadratique si

et seulement si sa variance tend vers 0 quand n tend vers línfini.
Finalement, on considèrera que le meilleur estimateur possible de θ
est un estimateur sans biais et de variance minimale (ESBVM). Un
tel estimateur néxiste pas forcément.

Propriétés de X n
On a
n n
1 X 1X 1
E Xn = E Xi = E (Xi ) = nθ = θ
n i=1
n i=1 n
Donc X n est un estimateur sans biais de θ = E (X ).

Et
n n
" #
1X 1 X V(X )
V Xn = V Xi = 2 V (Xi ) =
n i=1 n i=1 n
Car les Xi sont indépendantes, donc la variance de leur somme est
égale à la somme de leurs variances, qui sont toutes égales à
V (X ). V (X n ) tend vers 0 quand n tend vers línfini. Par
conséquent, la moyenne empirique X n est un estimateur sans biais
et convergent en moyenne quadratique de E (X ).
Propriétés de la variance empirique Sn2

On considère maintenant léstimation de la variance de la loi des
Xi par la variance empirique de l´échantillon
2 2
Sn2 = n1 ni=1 Xi − X n = n1
Pn 2 − X n.
P
i=1 Xi
Le biais de cet estimateur :
n
" #

2 1X 2 2
E Sn = E X − Xn
n i=1 i
n
1X 2 2
= E Xi2 − E X n = E X 2 − E X n
n i=1
2
= Var(X ) + E (X )2 − Var X n − E X n
Var(X ) 1

= Var(X ) + E (X )2 − − E (X )2 = 1 − Var(X )
n n
6= Var(X )
On a
n n

E Sn2 = E Sn2 = V(X )
n−1 n−1
Pn 2
On pose donc Sn∗ 2 = n−1
n 1
Sn2 = n−1 i=1 Xi − X n . cést un
estimateur sans biais de V (X ).
On montre que
1 h h i i
V Sn∗ 2 = (n − 1)E (X − E (X ))4 − (n − 3) Var(X )2
n(n − 1)
qui tend vers 0 quand n tend vers línfini.

2
n
Par conséquent, la variance estimée Sn∗ 2 = n−1
1
i=1 Xi − X n
P
est un estimateur sans biais et convergent en moyenne quadratique

de V (X ).

1. Intervalles de confiance pour les paramètres de la loi normale
Dans le paragraphe précédent, on a estimé un paramètre θ par θ̂n .

Si ce dernier estimateur possède de bonnes propriétés (sans biais,
variance minimale), on peut sáttendre à ce quíl soit proche de θ.
Par conséquent, il semble raisonnable de proposer un ensemble de
valeurs appelé région de confiance.
On supposera dans ce chapitre que θ ∈ R, donc la région de
confiance sera un intervalle.

Définition 8
Un intervalle de confiance de seuil (ou niveau de signification)

α ∈ [0, 1] pour un paramètre θ, est un intervalle aléatoire I tel que
P(θ ∈ I) = 1 − α.
α est la probabilité que le paramètre θ náppartienne pas à
líntervalle I, cést à dire la probabilité que lón se trompe en
affirmant que θ ∈ I. Cést donc une probabilité dérreur, qui doit
être assez petite (α = 10%, 5%, 1%, etc).

1.1. Intervalle de confiance pour léspérance dúne loi

normale avec variance connue
Soit X ∼ N m, σ 2 avec σ connu. Le meilleur estimateur de m est

X n . Comme X est de loi normale on a
Xn − m
Z= σ ,→ N (0, 1).
√
n
En prenant des risques symétriques, on peut lire dans les tables les
quantiles z α2 et z1− α2 de la loi normale centrée réduite dórdres
respectifs fracα2 et 1 − α2 , tels que :
α
P z α2 ≤ Z ≤ z1− α2 = 1−α ou P Z ≤ z α2 = p Z ≥ z1− α2 = .
2

Définition 9 (quantile)
Pour une variable aléatoire continue X , le nombre qα tel que
P(X ≤ qα ) = α, est le quantile dórdre α de la loi de X .
La figure suivante illustre la définition de ces quantiles :

Comme la loi normale est symétrique, on a la propriété suivante :

z1− α2 = −z α2 .
Ces quantiles sont donnés par les tables statistiques de la loi
normale centrée-réduite. Par exemple, pour α = 0.05 = 5%, on
obtient z α2 = −1.96.
Líntervalle de confiance pour léspérance dúne loi normale avec
variance connue est tel que
P(z α2 ≤ Z ≤ z1− α2 ) = 1 − α,
qui peut s´écrire
σ σ
P(X + z α2 √ ≤ m ≤ X − z α2 √ ) = 1 − α,
n n
dóù líntervalle de confiance :
σ σ
IC1−α (m) = [X n + z α2 √ , X n − z α2 √ ].
n n
Pour une réalisation numérique x1 , . . . , xn dún échantillon

X1 , . . . , Xn de taille n, on obtient líntervalle de confiance sur m au
niveau de confiance 1 − α :
σ σ
IC1−α (m) = [x n + z α2 √ , x n − z α2 √ ].
n n
Pour α = 0.05, on a
σ σ
[x n − 1.96 √ , x n + 1.96 √ ].
n n

1.2. Intervalle de confiance pour léspérance dúne loi

normale avec variance inconnue
Si la variance σ 2 est inconnue, on utilisera à sa place son meilleur
estimateur Sn∗2 .
On sait que
n 2 n − 1 ∗2
S ,→ χ2n et S ,→ χ2n−1 .
σ2 n σ2 n
La statistique que lón utilisera est donc
Xn − m
√
Xn − m σ/ n
Tn−1 = ∗ √ =s ,→ Tn−1 ,
Sn / n n−1 ∗2
2 S σ
n−1

on obtient líntervalle de confiance :

S∗ S∗
IC1−α (m) = [x n + tn−1, α2 √n , x n − tn−1, α2 √n ],
n n
α
où tn−1, α2 est le quantile dórdre de la loi de Student à n − 1
2
degrés de liberté.

1.3. Intervalle de confiance pour la variance dúne loi

normale
On a dans ce cas, quels que soient les réels a et b, 0 < a < b :
! !
nS 2 nSn2 nS 2
P a ≤ 2n ≤ b =P ≤ σ2 ≤ n
σ b a
= Fχ2 (b) − Fχ2 (a)
n−1 n−1
On prend a et b tels que

α α
Fχ2 (b) = 1 − et Fχ2 (a) = .
n−1 2 n−1 2
2
La table de la loi du χ donne la valeur zn,α telle que, quand Z est
une variable aléatoire de loi χ2n , alors
P (Z > zn,α ) = 1 − Fχ2n (zn,α ) = α.
Alors, pour b = zn−1,1−α/2 et a = zn−1,α/2 , on a

!
nSn2 nS 2
P ≤ σ2 ≤ n = 1 − α,
b a
dóù un intervalle de confiance de seuil α pour le paramètre σ 2 de

la loi N (m, σ 2 ) est :
" # " #
nSn2 nSn2 (n − 1)Sn∗2 (n − 1)Sn∗2
, = , .
zn−1,1−α/2 zn−1,α/2 zn−1,1−α/2 zn−1,α/2
De même un intervalle de confiance de seuil α pour l´écart-type σ 2

est : "s s #
n n
Sn , Sn .
zn−1,1−α/2 zn−1,α/2

2. Intervalle de confiance pour une proportion

Dans ce cas, on síntéresse à la détermination dún intervalle de
confiance pour le paramètre p de la loi de Bernoulli, au vu dún
échantillon X1 , . . . , Xn de cette loi. On a montré que le meilleur
estimateur de p est p̂n = X n .
Supposant que la proportion p díndividus présentant un certain
caractère C au sein dúne population est inconnue. Le meilleur
estimateur de p est p̂n = X n = n1 ni=1 Xi où Xi est une variable
P
aléatoire de Bernoulli de paramètre p, définie par :

(
1 si l’individu i possède la caractère C
Xi =
0 sinon
Pn
Comme la variable X suit une loi de Bernoulli B(p), np̂ = i=1 Xi
suit une loi Binomiale B(n, p).
Si n est faible, on utilisera les tables de la loi binomiale, sinon (n

est suffisamment grand) on peut considérer (TCL) que
n
X
Xi ,→ N (np, np(1 − p)),
i=1
dóù
p(1 − p) p̂n − p
p̂ ,→ N p, ⇐⇒ s ,→ N (0, 1).
n p(1 − p)
n
On obtient alors, en fonction des quantiles
P(zα/2 ≤ Z ≤ −zα/2 ) = 1 − α , líntervalle de confiance pour p :
s s
h p(1 − p) p(1 − p) i
IC1−α (p) = p̂n + zα/2 , p̂n − zα/2 .
n n

On remplace p par p̂n et on obtient

s s
h p̂n (1 − p̂n ) p̂n (1 − p̂n ) i
IC1−α (p) = p̂n + zα/2 , p̂n − zα/2 .
n n

Estim

Transféré par

Droits d'auteur :

Formats disponibles

Estim

Transféré par

Informations du document

Description originale:

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Estim

Transféré par

Droits d'auteur :

Formats disponibles

Chapitre 3.

On suppose que les données x1 , . . . , xn sont n réalisations

déjà dit, il s´agit de donner, au vu des observations x1 , . . . , xn , une

El Hachmi HAMMOU Chapitre 3. Estimation

Il existe de nombreuses méthodes pour estimer un paramètre θ. on

El Hachmi HAMMOU Chapitre 3. Estimation

Définition 1 (Définition d´une statistique)

Une statistique t est une fonction des observations x1 , . . . , xn :

Pour simplifier les écritures, on note souvent tn = t(x1 , . . . , xn ) et

El Hachmi HAMMOU Chapitre 3. Estimation

Définition 2 (Définition d´un estimateur)

Un estimateur d´une grandeur θ est une statistique Tn à valeurs

El Hachmi HAMMOU Chapitre 3. Estimation

Méthode des moments

Plus généralement, pour θ ∈ R, si E (X ) = φ(θ), où φ est une

El Hachmi HAMMOU Chapitre 3. Estimation

Définition 3 (Fonction de vraisemblance)

El Hachmi HAMMOU Chapitre 3. Estimation

Définition 4 L´estimation de maximum de vraisemblance

θ̂n est solution du système d´équations appelées équations de

Donc la fonction de vraisemblance est :

El Hachmi HAMMOU Chapitre 3. Estimation

qui s´annule pour p = n1 ni=1 xi = x n Par conséquent, l´EMV de

El Hachmi HAMMOU Chapitre 3. Estimation

qui s´annule pour

Un estimateur Tn de θ est un bon estimateur s´il est suffisamment

El Hachmi HAMMOU Chapitre 3. Estimation

On appelle le biais de Tn la quantité E (Tn ) − θ.

El Hachmi HAMMOU Chapitre 3. Estimation

Définition 6 (risque quadratique)

On appelle le risque quadratique ou erreur quadratique moyenne :

EQM(Tn ) = E [(Tn − θ)2 ].

El Hachmi HAMMOU Chapitre 3. Estimation

L´estimateur Tn converge en moyenne quadratique vers θ si et

Si Tn est sans biais, il sera convergent en moyenne quadratique si

El Hachmi HAMMOU Chapitre 3. Estimation

Donc X n est un estimateur sans biais de θ = E (X ).

Propriétés de la variance empirique Sn2

qui tend vers 0 quand n tend vers l´infini.

est un estimateur sans biais et convergent en moyenne quadratique

El Hachmi HAMMOU Chapitre 3. Estimation

Dans le paragraphe précédent, on a estimé un paramètre θ par θ̂n .

El Hachmi HAMMOU Chapitre 3. Estimation

Un intervalle de confiance de seuil (ou niveau de signification)

El Hachmi HAMMOU Chapitre 3. Estimation

1.1. Intervalle de confiance pour l´espérance d´une loi

X n . Comme X est de loi normale on a

El Hachmi HAMMOU Chapitre 3. Estimation

El Hachmi HAMMOU Chapitre 3. Estimation

Comme la loi normale est symétrique, on a la propriété suivante :

Pour une réalisation numérique x1 , . . . , xn d´un échantillon

El Hachmi HAMMOU Chapitre 3. Estimation

1.2. Intervalle de confiance pour l´espérance d´une loi

El Hachmi HAMMOU Chapitre 3. Estimation

on obtient l´intervalle de confiance :

El Hachmi HAMMOU Chapitre 3. Estimation

1.3. Intervalle de confiance pour la variance d´une loi

On prend a et b tels que