Chap 7: Estimation d'un paramètre

1
 Introduction

1 Introduction
Estimateur statistique

2 Construction d'estimateurs

3 Estimation ponctuelle
Estimation d'une espérance
Estimation d'une variance
Estimation ponctuelle d'un pourcentage

4 Estimation par intervalle de conance

Notion d'intervalle de conance
Intervalle de conance d'une moyenne
Estimation par intervalle de conance d'une proportion
Estimation par intervalle de conance d'une variance

2
Introduction

3
 Introduction

L'estimation a pour objectif de déterminer les valeurs inconnues des paramètres de la

population (p = proportion, µ = moyenne, σ 2 = variance) à partir des données de
l'échantillon (f , x̄ , V (x)).
4
 Introduction

On sait calculer des indicateurs numériques à partir d'un échantillon de données...

Mais comment généraliser à la population entière ?

Quelles informations sur la population obtient-on en
étudiant l'échantillon ?
Quelle conance peut-on accorder à ces informations ?

5
 Introduction

Pour résoudre les problèmes d'estimation de paramètres inconnus, il faut d'abord étudier
les distributions d'échantillonnage, c'est à dire la loi de probabilité suivie par
l'estimateur.
En théorie de l'estimation, il s'agit de distinguer soigneusement trois concepts diérents:
les paramètres de la population comme la moyenne µ dont la valeur est certaine
mais inconnue.
les résultats de l'échantillonnage comme la moyenne x̄ dont la valeur est certaine
mais connue.
les variables aléatoires des paramètres, comme la moyenne aléatoire X̄ dont la
valeur est incertaine puisque aléatoire mais dont la loi de probabilité est souvent
connue.

6
 Introduction

A partir d'échantillons représentatifs, on va introduire des résultats sur la population.

On étudie une variable X , dont on observe des réalisations. On suppose que X suit une
loi connue, i.e. on choisit parmi les modèles existants la loi la plus appropriée au
phénomène observé. Seule la valeur numérique du paramètre θ intervenant dans cette
loi de probabilité est inconnue.

X ∼ L(θ), θ inconnu
Exemple:
soit X la taille des habitants de Marrakech. On suppose que X suit une loi normale, de
moyenne inconnue µ et de variance connue. On va donc chercher à estimer µ à partir
d'un échantillon de données.

7
 Introduction

Deux types d'estimation

On considère généralement deux types d'estimation :

L'estimation ponctuelle : : on cherche à calculer une unique valeur θ̂ estimant
au mieux θ.

L'estimation par intervalle de conance : on estime la probabilité que la

valeur vraie d'un paramètre appartienne à un intervalle donné, on a ainsi un
ensemble de valeurs vraisemblables donc une estimation ensembliste ou région de
conance. Typiquement, on cherche a et b tel que, par exemple
P(a < θ < b) = 0.95

8
 Introduction

Dénition
Un échantillon aléatoire est un échantillon dont les individus sont tirés au hasard parmi
la population.

Dénition
Un n-échantillon aléatoire est une collection (ou une suite) de variables aléatoires, noté :
(X1 , . . . , Xn )

où Xi désigne la valeur de la caractéristique d'intérêt associée au i -ème individu

sélectionné au hasard parmi la population pour constituer l'échantillon.

9
 Introduction

On suppose que la caractéristique d'intérêt dans la population, notée X , est une

variable aléatoire.
La loi de probabilité de cette variable aléatoire est représentée, soit par une
fonction de densité si X est une variable continue, soit par une fonction de masse si
X est une variable discrète.
On suppose que cette fonction de densité ou de masse dépend d'un paramètre θ,
qui est a priori inconnu et que l'on cherche à estimer.
Soit fX (x; θ) la fonction de densité ou de masse de la variable X .

10
 Introduction

Hypothèses eectuées

On note les données (observations) x1 , x2 , ..., xn .

On regardera xi comme le i-ème tirage d'une variable aléatoire X

X ∼ L(θ)

Ou de façon équivalente comme une réalisation d'une variable Xi de même loi que
X . De plus, les Xi sont supposées indépendantes :

Xi ∼ L(θ)

11
 Introduction

Exemple:
On suppose que la durée de vie d'un équipement, notée X , peut être représentée par
une variable aléatoire positive, admettant une distribution exponentielle de paramètre
λ.Ce paramètre est inconnu. An de l'estimer, on dispose de six relevés pour lesquels on
a pu observer la durée écoulée (exprimée en heures) avant la rupture de l'équipement :
(100, 102, 95, 78, 135, 98). Ces six valeurs correspondent à la réalisation d'un échantillon
aléatoire de taille n = 6, noté (X1 , X2 , X3 , X4 , X5 , X6 ), où les variables Xi pour
i = 1, . . . , 6 sont i.i.d. de même loi que X (loi exponentielle).

12
 Introduction Estimateur statistique

Soient (x1 , x2 , ..., xn ) réalisation (observations) de l'échantillon (X1 , . . . , Xn ).

Une statistique t est une fonction des observations x1 , x2 , . . . , xn :
t : Rn → R
(x1 , . . . , xn ) 7→ t(x1 , . . . , xn )

Un estimateur de θ est une fonction construite à l'aide des {Xi } :

Tn = t(X1 , . . . , Xn )

Une estimation est une réalisation tn = t(x1 , . . . , xn ) de l'estimateur Tn . On note la

valeur numérique de cette estimation par
θ̂(x) = t(x1 , . . . , xn )

La distribution de probabilité d'un estimateur est appelée distribution

d'échantillonnage.
13
 Introduction Estimateur statistique

Exemple:
Soit un échantillon (X1 , X2 ) de variables i.i.d. telles que Xi ∼ N (µ, σ 2 ) pour i = 1, 2.
On admet que µ̂ = X1 +X 2
2 est un estimateur du paramètre µ. La loi exacte de

l'estimateur µ̂ est alors la suivante :

X1 + X2
µ̂ = ∼ N (µ, σ 2 )
2
Pour une réalisation (x1 , x2 ) = (10, 4) de l'échantillon, on obtient une estimation
(ponctuelle) du paramètre µ égale à:
10 + 4
µ̂(x1 , x2 ) = =7
2

14
 Introduction Estimateur statistique

Exemple
1 On observe un phénomène de production de pièces manufacturées. Chaque pièce
est associée à une mesure (un indicateur de qualité par exemple). Comme on ne
peut pas vérier chaque mesure, on procède à un échantillonnage qui nous fournit
donc un échantillon.
2 Supposons que la connaissance de la nature de cet indicateur nous permet de faire
l'hypothèse qu'il obéit à une loi de probabilité normale.
3 Le problème est maintenant, au vue de l'échantillon {xi }, de proposer une valeur
pour la moyenne de cette loi normale. Il faut procéder à une estimation du
paramètre vrai θ qui se traduit par la valeur θ̂. Il y a une innité de manière
possible parmi lesquelles :
θ̂ = la moyenne
θ̂ = la médiane
θ̂ =le mode
...

⇒ Quel est le meilleur estimateur de la moyenne ? Existe-t-il ? Qu'est ce que cela veut
dire meilleur ?
15
 Introduction Estimateur statistique

Qualité d'un estimateur

Il n'existe pas de "meilleur estimateur"! mais il existe des critères de comparaison :
Biais: On souhaite que l'estimation ne soit pas systématiquement décalée par
rapport à la valeur vraie.
Précision: Si l'on répète l'estimation sur un autre échantillon, on souhaite obtenir
une estimation cohérente, donc peu de variation d'un échantillon à l'autre. On
parlera aussi d'ecacité.
Convergence: Si l'on peut estimer la valeur du paramètre sur toute la
population-mère, la valeur de l'estimation obtenue doit être la valeur vraie du
paramètre.
Complexité: Toute estimation nécessite un calcul donc un temps. On s'attachera
donc à évaluer la complexité du calcul en fonction de la taille des données.
Robustesse : Dans tout cas concret, il existe des sources de perturbations. On
souhaite que l'estimation ne soit pas sensible à la présence de valeurs aberrantes.
16
 Introduction Estimateur statistique

Estimateur sans biais

Un estimateur Tn est dit sans biais lorsque son espérance mathématique est égale à
la valeur vraie du paramètre.
Biais = E (Tn ) − θ

Précision d'un estimateur

On mesure généralement la précision d'un estimateur par l'erreur quadratique
moyenne :
EQM(Tn ) = E (Tn − θ)2

17
Introduction Estimateur statistique

Illustration

18
 Introduction Estimateur statistique

Exemple:
Soit (Y1 , . . . , Yn ) un n-échantillon de variables aléatoires discrètes i.i.d. telles que Yi
admette une distribution de Bernoulli avec une probabilité de succès p ∈ [0, 1]. La
moyenne empirique est un estimateur sans biais de p :
Y1 + · · · + Yn
p̂ =
n
En eet, les Yi sont i.i.d, E (Yi ) = p
E (p̂) = n1 E (Y1 + · · · + Yn ) = 1
n
(E (Y1 ) + · · · + E (Yn )) = n×p
n
=p

19
 Introduction Estimateur statistique

Exemple:
Soit (X1 , . . . , Xn ) un n-échantillon de variables aléatoires i.i.d. telles que E (Xi ) = µ et
V (Xi ) = σ 2 . Considérons les deux estimateurs sans biais de la moyenne µ :
X1 + X2 + · · · Xn
µ̂1 = et µ̂2 = X1 . Comment choisir entre ces deux estimateurs non
n
biaisés. Comparons l'erreur quadratique moyenne des deux estimateurs
1 X 2 σ2
n
EQM(µ̂1 ) = E (µ̂1 − µ)2 = V (µ̂1 ) = 2
 
σ =
n i=1 n

EQM(µ̂2 ) = E (µ̂2 − µ)2 = V (µ̂2 ) = σ 2

 

On obtient EQM(µ̂1 ) ≤ EQM(µ̂2 ) dès que la taille d'échantillon n est supérieure ou

égale à 1. L'estimateur µ̂1 est meilleur que µ̂2 .

20