Cours 5 : ESTIMATION PONCTUELLE

A- Généralités
B- Précision d’un estimateur
C- Exhaustivité
D- information
E-estimateur sans biais de variance minimale, estimateur efficace
F- Quelques méthode s d’estimation
A- ESTIMATION PONCTUELLE:
GÉNÉRALITÉS
 A- 1 Définition

• On s’intéresse à la caractéristique X d’une population (éventuellement à un

vecteur de caractéristiques), dont la loi dépend d’un paramètre inconnu
θ ∈ ϑ ⊂ R p , p ≥ 1.

• On note fθ ( x) la densité de la loi de X au point x (resp. la loi Pθ(X=x) de

X au point x) si X est continue (resp. si X est discrète).

• On dispose d’un sondage de taille n de la population (l’observation de X sur

n individus) , noté( x1 ,..., xn ) . On note ( X 1 ,..., X n )
l’échantillon aléatoire associé à ce sondage (il s’agit d’un vecteur aléatoire
dont une réalisation particulière est ( x1 ,..., xn ) .
 A-1 Définition

Estimer le paramètre θ consiste à donner une valeur approchée à ce

paramètre à partir d’un sondage de la population.

Ex : P
( x1 ,..., xn )
X,
θ=E(X)?

1 n
x = ∑ xi
n i =1

x est une approximation ou estimation de θ.

 A-1 Définition

Estimateur et estimation :
P

X,
θ=E(X)?

1 n 1 n
x = ∑ xi ( x1 ,..., xn ) ( x '1 ,..., x 'n ) x ' = ∑ x 'i
n i =1 n i =1
•

( x1 ,..., xn ) ( x '1 ,..., x 'n ) sont deux réalisations de l’échantillon aléatoire ( X ,..., X )
1 n

• Les deux estimations x et x ' de θ sont deux réalisations de la

statistique 1 n appelée estimateur de θ.
X=
n
∑ X
i =1
i
 A-1 Définition

Formalisation :

Soit θ ∈ ϑ ⊂ R p , p ≥ 1 le paramètre inconnu dont dépend la loi de X

 Un estimateur Θn de θ est une statistique de l’échantillon aléatoire :

Θ n = h( X 1 ,..., X n ), h : R n → R p , p ≥ 1

telle que pour chaque réalisation ( x1 ,..., xn ) de l’échantillon aléatoire, la

valeur θˆn = h( x1 ,...xn ) prise par Θn approche θ.

 θˆn s’appelle une estimation de θ . C’est une réalisation particulière

de l’estimateur Θn .
 A-2 Exemple d’estimateurs

Estimateur de l’espérance E(X) de X : La moyenne empirique

1 n
Xn = ∑ Xi
n i =1

Pour une réalisation donnée ( x1 ,..., xn ) de l’échantillon aléatoire,

1 n
x = ∑ x est l’estimation de E(X) associée à ce jeu de données.
n i
n i =1

Propriét és : E( X n ) = E( X )
V (X )
V (Xn ) =
n
 A-2 Exemple d’estimateurs

Estimateurs de la variance σ² et de l’écart-type σ de X

lorsque E(X)=m est connue :

1 n est un estimateur de σ²
T = ∑ ( X i − m )²
n
2

n i =1

Tn = Tn2 est un estimateur de σ

Pour une réalisation donnée de l’échantillon aléatoire,

2 1 n
( )
t n = ∑ xi − m ² et
n i =1
tn

Sont les estimations associées .

Propriétés (cf TD) : 2

E (T ) = σ ²
n

2 µ 4 −σ 4
V (Tn ) =
n
 A-2 Exemple d’estimateurs

Cas général

 La variance et l’écart-type empirique s

1 n
S = ∑ ( X i − X n )²
2 est un estimateur de σ²
n
n i =1
est un estimateur de σ
Sn = S 2
n

Pour une réalisation donnée de l’échantillon aléatoire,

2 1 n
(
sn = ∑ xi − x ²
n i =1
) et

σ
² et σˆ
2
sn = sn sont les estimations associées (on les note encore

2 n −1
E(S ) =
n
σ²
n
Propriétés:
n −1
V ( S n2 ) =
n 3 ( ( n − 1) µ 4
− ( n − 3)σ 4
)
 A-2 Exemple d’estimateurs

 La variance et l’écart-type empiriques corrigés:

1 n
S =
*2
n ∑
n − 1 i =1
( X i − X n )² est un estimateur de σ²

Sn* = Sn*2 est un estimateur de de σ

Propriétés :
E ( S n2* ) = σ ²
1 (n − 3) 4 
V ( S n2* ) =  µ 4 − σ 
n (n − 1) 
 A-2 Exemple d’estimateurs

Estimateur de la fonction de répartition F(x) : La fonction de

répartition empirique:

1 n
Fn ( x) = ∑1X i < x est un estimateur de F(x) en tout point x.
n i =1

Pour une réalisation donnée ( x1 ,..., xn ) de l’échantillon aléatoire,

1 n
Fn ( x) = ∑1xi < x est l’estimation de F(x) associée à ce jeu de données.
n i =1

E ( Fn ( x)) = F ( x )
Propri étés :
F ( x )(1 − F ( x ))
V ( Fn ( x)) =
n
 A-2 Exemple d’estimateurs

Soient ( X 1 ,..., X n ) et (Y1 ,..., Yn ) les échantillons aléatoires associés aux

variables aléatoires X et Y de P.

Estimateurs de la covariance cov(X,Y) entre deux v.a. X et Y

Lorsque m1=E(X) et m2=E(Y) sont connues

1 n
Tn ( X , Y ) = ∑ ( X i − m1 ) Yi − m2
n i =1
( ) est un estimateur de cov(X,Y).

Pour une réalisation particulière des échantillons aléatoires,

tn ( x, y ) =
1 n
(
∑ xi − m1
n i =1
) ( yi − m2 ) est l’estimation associée
 A-2 Exemple d’estimateurs

Cas général

 La covariance empirique :

1 n
Sn ( X , Y ) = ∑ ( X i − X ) Yi − Y
n i =1
( ) est un estimateur de cov(X,Y).

Pour une réalisation particulière des échantillons aléatoires,

( )( ) c
1 n (encore notée ov ( X ,Y ) )
sn ( X , Y ) = ∑ xi − x y −y
n i =1 i

est l’estimation associée

 A-2 Exemple d’estimateurs

 La covariance empirique corrigée :

S ( X ,Y ) =
*
n
1 n
∑
n − 1 i =1
( X i − X ) Yi − Y( ) est un estimateur de cov(X,Y).

Propriétés :
E (Tn2 ( X , Y )) = E ( S n2* ( X , Y )) = Cov ( X , Y )
n −1
E ( S n2 ( X , Y )) = cov( X , Y )
n
 A-2 Exemple d’estimateurs

Estimateur de la corrélation ρ(X,Y) entre deux v.a. X et Y : La

corrélation empirique
Sn ( X , Y )
Rn ( X , Y ) =
Sn ( X ) S n (Y ) est un estimateur de ρ(X,Y)

On note rn ( X , Y ) ou ρˆ ( X , Y ) l’estimation associée.

B- Précision d’un estimateur
B-1 Une mesure de précision : l’erreur
quadratique moyenne (EQM)

Soit Θ n ⊂ R p un estimateur de θ.

E [ (Θn − θ )² ] = V (Θn ) + ( E (Θn ) − θ )²

Erreur Quadratique Moyenne :
(EQM)
Biais^2=erreur
Variance=fluctua
systématique
tion aléatoire de
due au fait que
Θ autour de sa
Θ ne fluctue pas
moyenne
autour de θ

Biais d’estimation :
B (Θ n ) = E (Θ n ) − θ

Un bon estimateur ponctuel doit être précis : il l’est d’autant plus

que son erreur quadratique est faible : biais et variance les plus
faibles possibles.
 B-2 Absence de biais

Un estimateur du paramètre θ est dit sans biais ssi :

B (Θ n ) = 0 ⇔ E (Θ n ) = θ

RQ: une propriété moins forte est l’absence de biais asymptotique

Ex : X n , Tn2 et S n*2 sont sans biais, 2

Sn est biaisé mais asymptotiquement
sans biais
 B-3 Variance minimale

Un estimateur de θ est dit de variance minimale si, parmi tous les estimateurs
possibles de θ il a la plus petite variance :

∀Θ*n estimateur de θ , V (Θ n ) ≤ V (Θ*n )

Pour deux estimateurs sans biais, le plus précis est celui qui a la plus petite variance.
Ex : lorsque E(X) =m est connue,
*2 est moins précis que 2
Sn Tn
 B-4 Convergence

Convergence : un estimateur du paramètre θ est dit convergent ssi,

Θ n 
P
n→∞
→θ

Pté : Un estimateur sans biais et de variance asymptotiquement nulle est

convergent.

RQ : deux estimateurs convergents peuvent ne pas converger à la même vitesse

 B-5 : Recherche du meilleur
estimateur

La propriété la plus désirable pour un estimateur est d'avoir une faible Erreur
Quadratique Moyenne (ce qui n'exige pas forcément d'être sans biais).

Pbme : la théorie de l’estimation ne permet pas de résoudre le

problème de minimisation de l’EQM (fonction dépendant de manière
complexe du paramètre)

Un compromis : recherche d’un estimateur sans biais de variance

minimale

 L'absence de biais facilite grandement l'étude des propriétés d'un estimateur car
le biais d'un estimateur peut dépendre de façon complexe de la valeur du
paramètre.

• Rque : Il est cependant possible de trouver des estimateurs biaisés

plus précis que le meilleur estimateur sans biais.

Pbme : le calcul de la variance d’un estimateur et donc l’existence et la définition

d’un estimateur de variance minimale nécessite généralement la connaissance de la
loi de probabilité jointe de l’échantillon aléatoire,
 B-5 : Recherche du meilleur
estimateur

Loi de l’échantillon aléatoire dans un tirage aléatoire simple:

( X 1 ,..., X n ) i.i.d., Lθ ( x1 ,..., xn )

X, fθ ( x)

n
Lθ ( x1 ,..., xn ) = ∏ fθ ( xi ), ∀( x1 ,..., xn ) ∈ R n
i =1

• On connait généralement la forme paramétrique de f, mais elle dépend du paramètre

q inconnu. Donc, la loi de l’échantillon est inconnue en général (dépend de
paramètres inconnus que l’on cherche justement à estimer).

• Solution : Trouver un estimateur sans biais de variance minimale ne sera possible

que si
 L’info contenue dans l’échantillon sur θ est suffisamment riche ⇒ information
 On dispose d’une statistique exhaustive pour θ ⇒ exhaustivité
 B-5 : Recherche du meilleur
estimateur

Remarque s :

• L'absence de biais ne garantit pas la plus faible valeur possible de

l'EQM : celle-ci sera atteinte lorsque sera trouvé le meilleur compromis
entre le biais de l'estimateur et sa variance

• Dans certains cas même, l'introduction d'un léger biais dans un

estimateur initialement sans biais peut conduire à une réduction
significative de sa variance, au point de provoquer une diminution
de son EQM, et donc d'améliorer ses performances.
C- Exhaustivité et
information
 C-1 Introduction

Information : Un sondage (= une réalisation de l’échantillon aléatoire)

nous apporte un certaine information sur θ (la répartition de ses valeurs
nous donne une information sur la loi de X, qui dépend de θ). Elle doit être
suffisante pour pouvoir espérer estimer θ.

Exhaustivité : L’estimation de θ faite à partir de ce sondage perd

forcement une partie de cette information : partant de n valeurs, on n’en
construit qu’une seule, l’estimation. Et la connaissance de la seule
estimation ne permet pas de remonter à l'échantillon tout entier.

Affaiblissement de l’information sur la loi

– Via le sondage
– Via la construction d’un estimateur

La perte doit être minimale pour construire un estimateur

précis
 C-2 Vraisemblance d’un échantillon

Rappels de notations :

• θ le vecteur de paramètre inconnu ( θ ∈ R p )

• fθ(x) la loi (continue ou discrète) de X
• ( X1,..., X n ) l’échantillon aléatoire associé au sondage
• ( x1,..., xn ) une réalisation de cet échantillon ((un sondage
particulier)

Remarque : La loi fθ(x) de X (ainsi que toute fonction dépendant

de θ) sera notée dans ce chapitre f(x, θ), car on s’intéressera aux
variations de la loi par rapport à θ.
 C-2 Vraisemblance d’un échantillon

Vraisemblance de l’échantillon aléatoire :

n
L( X 1 ,...., X n ,θ ) = ∏ f ( X i ,θ )
i =1

NB : C’est une variable aléatoire. Sa réalisation sur le jeu de données (x1, x2, ..., xn) ,
est la valeur de la densité de l’échantillon aléatoire au point (x1, x2, ..., xn) .

Log-vraisemblance de l’échantillon aléatoire :

n
l ( X 1 ,...., X n ,θ ) = ln( L( X 1 ,...., X n ,θ )) = ∑ ln( f ( X i ,θ ))
i =1

NB:
• Pour des résolutions mathématiques, il est plus commode d’étudier la log
vraisemblance que la vraisemblance.
• L et l , considérées comme des fonctions de θ, ont le même sens de
variation.
 C-3 Information de Fisher d’un
échantillon (θ réel)

Score de l’échantillon : Si f(x, θ) est différentiable en θ, l est une
fonction dérivable de θ, et le score est sa dérivée :

∂ 1 ∂
Sn (θ ) = l ( X 1 ,...., X n ,θ ) = L( X 1 ,...., X n ,θ )
∂θ L( X 1 ,...., X n ,θ ) ∂θ

 Pour tout θ, Le score est une variable aléatoire

 Le score s’annule à un optimum en θ de la fonction de vraisemblance.

 Pour une réalisation donnée (x1,…,xn) de l’échantillon aléatoire (un sondage

particulier) La valeur du score est une fonction de θ, réalisation de la
variable aléatoire définie ci-dessus sur ce jeu de données
∂
sn (θ ) = l ( x1 ,...., xn ,θ )
∂θ
 C-3 Information de Fisher d’un
échantillon (θ réel)

 Le score est centré : E ( S n (θ )) = 0

 la variance du score (si elle existe) s’appelle l’information de Fisher

apportée par l’échantillon sur θ :

I n (θ ) = E ( ( Sn (θ ))² )

Cette quantité mesure l’information apportée par un échantillon

sur le paramètre
 C-3 Information de Fisher d’un
échantillon (θ réel)
 L’information de Fisher mesure l’information apportée par un
échantillon sur le paramètre : une information de Fisher proche
de zero indique un échantillon peu informatif sur la valeur de θ

• Pour un sondage particulier, la valeur du score mesure la sensibilité de la

vraisemblance à la valeur de θ. Si le score est faible, la vraisemblance est
peu sensible à de petites variations du paramètre : les observations
n'arrivent pas à s'accorder entre elles sur la direction du changement à
apporter à la valeur de θ pour augmenter la vraisemblance de l'échantillon.
On doit donc s'attendre à ce que l'échantillon contienne peu d'information
sur la vraie valeur de ce paramètre.

• En moyenne pour un θ fixé, le score est nul. Si sa variance (information de

Fisher) est très petite pour une valeur donnée de θ, alors, presque tous les
jeux de données auront alors un score proche de 0 (l'espérance du score), et
donc presque tous les échantillons ne contiendront qu'une faible quantité
d'information sur la valeur réelle de θ .
 C-3 Information de Fisher d’un
échantillon (θ réel)

Propriétés de l’information de Fisher :

 Autre formulation : si le domaine de définition de X ne dépend pas de θ et

que cette quantité existe,

 ∂ ²l ( X 1 ,..., X n ,θ )   ∂S n (θ ) 
I n (θ ) = − E   = − E  ∂θ 
 ∂ θ ²   

 Additivité : si le domaine de définition de X ne dépend pas de θ , chaque

observation apporte la même information

I n (θ ) = nI1 (θ )
 C-3 Information de Fisher d’un
échantillon (cas multidimentionnel)

Extension au cas multidimensionnel :

Le score est un vecteur aléatoire de dimension p: θ = (θ1 ,...,θ p ) ∈ R p

 ∂ ∂ 
Sn (θ ) =  l ( X 1 ,...., X n ,θ ),..., l ( X 1 ,...., X n ,θ ) 
 ∂θ ∂θ p 
 1 
Il est caractérisé par son vecteur espérance (=0) et sa matrice de variance
covariance appelée matrice d’information de Fisher, I n (θ ) = ( I in, j )1≤i , j ≤ p
définie positive de terme général

 ∂l ( X 1 ,..., X n ,θ ) ∂l ( X 1 ,..., X n ,θ ) 
I n
= Cov  , 
i, j  ∂ θ ∂ θ
 i j 
 C-4 Statistique exhaustive

Dégradation de l’information par une statistique de l’échantillon : soit T

une statistique de l’échantillon et g (t, θ) sa loi. Alors

I n (θ ) ≥ IT (θ )
avec égalité si la statistique est exhaustive.

Dém :
 La vraisemblance de T est g(T,θ)
 l’information de Fisher IT(θ) apportée par T sur θ est (sous de bonnes
conditions) :
 ∂ ² ln g (T ,θ ) 
IT (θ ) = − E  
 ∂θ ² 
 ∂ ² ln k 
I n (θ ) = IT (θ ) − E  
L( X 1 ,...., X n ,θ ) = g (t ,θ )k ( X 1 ,...., X n ,θ / T = t ) donc  ∂θ ² 

Le dernier terme est l’information conditionnelle de l’échantillon sachant T et on

montre qu’il est positif
 C-4 Statistique exhaustive
Une statistique de l’échantillon ne peut pas contenir plus d’information sur
θ que l’échantillon ….Mais dans quel cas peut-on espérer qu’elle conserve la
majeure partie de l’information « utile »?

Θ*n < Θ n
Θn

Information inutile pour

Information utile
l’estimation de θ, bien que
pour l’estimation
pouvant être utile pour
de θ
d’autres applications

( X 1 ,..., X n )
 C-4 Statistique exhaustive

Statistique exhaustive T: sa création ne rejettera que de l'information "inutile"

tout en préservant intégralement l'information "utile" à l'estimation de θ.

Construction de T?
 C-4 Statistique exhaustive

Idées de construction :

 Soit t la valeur de T sur un sondage ( x1 ,..., xn ) . Pour que t soit aussi

informative que ce sondage, il faut à partir de la valeur t être capable de
reconstruire ( x1 ,..., xn ) ou une autre réalisation ( x '1 ,..., x 'n )
de( X 1 ,..., X n )

Soit Lθ la loi de ( X 1 ,..., X n ) . Soit gθ la loi de T dont une réalisation est t.

Pour tirer une réalisation de ( X ,..., X ) on peut :
1 n

 simuler une réalisation de loi Lθ

 simuler une réalisation t de loi g , puis une réalisation de la loi k de
θ
l’échantillon conditionnellement à la valeur de t car :

Lθ ( x1 ,...xn ) = kθ ( x1 ,...xn / T = t ) gθ (t )
 C-4 Statistique exhaustive
Statisticien S1 : Statisticien S2 :

dispose d’un jeu de données
ne dispose pas du jeu de données
obtenu par sondage.
s’est fait donner t par S1

Peut construire la valeur de t à
Connait gθ
partir de ce jeu de données

Peut construire une estimation de
θ à partir de ce jeu de données.
Pour disposer d’autant d’information que S1, S2 doit être capable de tirer une
réalisation de l’échantillon aléatoire. Comme il dispose de t, il faut qu’il puisse
tirer dans la loi conditionnelle de cet échantillon sachant t, mais celle-ci
dépend généralement de θ.

S1 et S2 ⇔ kθ ( x1 ,...xn / T = t ) ne dépend pas de θ

Alors seulement, S2 sera capable de tirer une réalisation de l’échantillon
aléatoire et de construire une estimation de θ à partir de ce jeu de données.
C-4 Statistique exhaustive
 C-4 Statistique exhaustive

 Une statistique T ne peut nous renseigner sur la valeur d’un paramètre que
si sa loi dépend de ce paramètre. Puisque

Lθ ( x1 ,...xn ) = kθ ( x1 ,...xn / T = t ) gθ (t )

Si la loi conditionnelle de l’échantillon aléatoire sachant la valeur de T ne

dépend plus du paramètre, cela veut dire qu’alors, une fois T connu, nous
n’obtenons plus aucune information sur le paramètre par l’échantillon et
que donc T porte toute l’information disponible sur le paramètre.
 C-4 Statistique exhaustive

Formalisation

 Soit Lθ : R n → R (resp. R n → [ 0,1])

la densité jointe (resp. la loi de probabilité jointe) de l’échantillon aléatoire

issu de X continue (resp.discrète).

 Soit h:Rn → R p une fonction et T = h( X1,..., X n ) une statistique

de l échantillon aléatoire et
t = h( x1,..., xn ) sa valeur au point ( x1,..., xn )
 C-4 Statistique exhaustive

 Définition : T est dite exhaustive pour le paramètre θ si la distribution de

l'échantillon aléatoire conditionnellement T=t ne dépend pas de θ :

Lθ ( x1 ,..., xn / T = t ) = k ( x1 ,..., xn / T = t ), ∀( x1 ,..., xn ) ∈ R n , ∀θ ∈ ϑ

 Propriété : Si T est exhaustive, alors I n (θ ) = IT (θ )

 Caractérisation ( théorème de factorisation )

Une statistique T de loi g est dit exhaustive pour le paramètre θ ssi il

θ
existe une fonction k : R n → R telle que :
Lθ ( x1 ,..., xn ) = gθ (t ) h( x1 ,..., xn ), ∀( x1 ,..., xn ) ∈ R n , ∀θ ∈ ϑ
 C-4 Statistique exhaustive

 Exemple
 C-4 Statistique exhaustive

 Lois de X permettant une statistique exhaustive (théorème de

Darmois)

On note fθ la loi de X (densité si X continue, loi de probabilité si X

discrète). On suppose que le domaine de définition de X ne dépend pas de θ.
a, b, α,β étant des fonctions,

 une CNS pour que l’échantillon aléatoire admette une statistique exhaustive
pour θ est que
fθ ( x) = exp [ a ( x)α (θ ) + b( x) + β (θ ) ]
(famille exponentielle)
n
x1 → ∑ a ( xi )
 Dans ce cas, si l’application i =1
est bijective et
n

continûment différentiable pour tout xi , alors T = ∑ a( X )i est une

statistique exhaustive particulière pour θ. i =1
 C-4 Statistique exhaustive

Conséquences de l’existence d’une statistique exhaustive de θ sur l’existence et

la définition d’un estimateur de θ de variance minimale :

Un estimateur de θ devrait être d’autant plus précis qu’il capture, pour sa construction, une
part importante de l’info sur θ contenue dans l’échantillon. Dans la meilleure des
situation, On devrait pouvoir retrouver toute l’info de l’échantillon à partir de l’estimateur

⇒ les estimateurs les plus précis de θ (en particulier les estimateurs sans biais de
variance minimale) sont des statistiques exhaustives ou des fonctions de celles-ci., si tant
est qu’une statistique exhaustive de θ existe.

Un autre aspect du problème : l’information

Ce qui précède n’est pas suffisant pour avoir un estimateur précis : un estimateur ne
pourra être bon que si l’échantillon lui-même sur lequel il est construit véhicule
(contienne) suffisamment d’info sur le paramètre

⇒ il faut en plus que l’information contenue dans l’échantillon sur le

paramètre soit suffisante.
D- Estimateur de variance minimale,
estimateur efficace
D-1 Estimateur sans biais de Variance
Minimale
Rappel : Il est fréquent qu'un paramètre admette plusieurs, voire une
infinité d'estimateurs sans biais.
Ex : Pour la distribution normale N(µ, s), la moyenne et la médiane empiriques
sont toutes deux des estimateurs sans biais de µ) .

 De tous les estimateurs sans biais de θ, le meilleur (au sens de EQM) est
celui qui a la plus faible variance. On l'appelle "Estimateur sans biais de
Variance Minimale" de θ.

 L’identification et la qualité d’un estimateur sans biais de variance

minimale est lié à l’information contenue dans l’échantillon sur θ et
à l’existence d’une statistique exhaustive pour θ.

On dispose de quatre résultats théoriques pour identifier cet

estimateur.
D-1 Estimateur sans biais de Variance
Minimale

Unicité : s’il existe un estimateur sans biais de variance minimale
de θ, alors, il est unique p.s.

Théorème de Rao-Blackwell
Si un estimateur sans biais de θ n'est pas de variance minimale, il est
possible de l'améliorer si l'on dispose d'une statistique exhaustive pour θ.

Le Théorème ne garantit cependant pas que le nouvel estimateur "amélioré"

soit de variance minimale.

Inégalité de Cramér-Rao
Permet d’établir, sous condition de régularité, une borne inférieure de la
variance d'un estimateur sans biais.

Conditions sous lesquelles la borne est atteinte. L’estimateur de

variance minimale est alors celui ayant la variance de la borne de Cramer-
Rao, il s’appelle estimateur efficace.
 D-2 Théorème de Rao-Blackwell

Problème posé : Si on dispose d’un estimateur sans biais de θ,

est-il possible de l’améliorer?

Réponse : oui si l’on dispose d’une statistique exhaustive de θ,

 Théorème de Rao-Blackwell : Soit Θn un estimateur sans biais

de θ et T une statistique exhaustive de θ. Alors Θn *=E(Θn /T) est un
estimateur sans biais de θ au moins aussi bon que Θn.

 Conséquence : s’il existe une statistique exhaustive T de θ alors

l’estimateur sans biais de variance minimale de θ est une fonction
de T: Θn *=k(T).

Rq : Inversement si on dispose d’un estimateur sans biais fonction

d’une statistique exhaustive, on n ’est pas sûrs qu’il soit de variance
minimale.
 D-2 Théorème de Rao-Blackwell

 Idée de la preuve: on utilise les résultats suivants avec

Y = Θ n et Z=T et Θ**
n un estimateur sans biais quelconque de θ,

∀Y , Z v.a.
E ( E (Y | Z )) = E (Y )
Théorème de la variance totale :
V (Y ) = V ( E (Y | Z )) + E (V (Y | Z )

Pour la conséquence : Soit Θ**n = E (Θ*n | T )) . Comme Θ*n est de

variance minimale, on a E (V (Θ* | T )) = 0 et donc Θ* = k (T )
n n
 D-3 Inégalité de FDCR

Problème posé : Etant donné un paramètre θ d'une distribution, quelle
est la plus petite variance que l'on puisse espérer pour un estimateur sans
biais de θ (ou d’une fonction k(θ) de θ ?

Réponse : cela dépend de l’information contenue dans l’échantillon

H : Le domaine de définition de X ne dépend pas de θ et

l’information de Fisher existe

 Inégalité de Fréchet-Darmois-Cramer-Rao (FDCR):

Si H est satisfaite, on a pour tout estimateur sans biais Θn de θ :

1
V (Θ n ) ≥
I n (θ )

.
 D-3 Inégalité de FDCR

Interprétation : La valeur de la borne de FDCR est fonction de

l’information que peut contenir l’échantillon sur le
paramètre : Plus grande est l'information sur la valeur du
paramètre, plus précises seront les prédictions d'un estimateur sans
biais dont la variance est égale à la borne de Cramér-Rao . Inversement,
si la variance du score (information de Fisher) est très petite, et donc si
presque tous les échantillons ne contiennent que peu d'information
sur la valeur du paramètre , on ne peut pas espérer d’un estimateur
sans biais qu'il soit précis, c'est à dire qu'il ait une faible variance.

Remarque : L’inégalité de FDCR et donc la variance minimale que peut

atteindre un estimateur sans biais, n’est valable que dans le cas où
l’information de Fisher existe et ou H est vérifiée.
 D-3 Inégalité de FDCR

 Généralisation à un estimateur sans biais d’une fonction

de θ:
soit k une fonction et ∆n un estimateur sans biais de k(θ). Si k est
une fonction dérivable et que H est satisfaite:

V (∆ n )≥
( k '(θ ) ) ²
I n (θ )
 D-4 Estimateur efficace

Estimateur efficace

 Définition : un estimateur efficace de θ (resp. k(θ) ) est un estimateur sans

biais dont la variance est égale à la borne inférieure de Cramer-Rao :

V (Θ n ) =
1
( resp. V ( ∆ n ) =
( k '(θ ) ) ² )
 Propriétés : I n (θ ) I n (θ )

 Si un estimateur efficace de θ (ou de k(θ)) existe, il est unique p.s.

 Si un estimateur efficace de θ (resp. k(θ)) existe, il est égal p.s. à

l’estimateur sans biais de variance minimale de θ (resp. k(θ).

 Pertinence : La définition d’un estimateur efficace n’a de sens que si

l’hypothèse H est vérifiée.
 D-4 Estimateur efficace

Exemple : Loi de Poisson de paramètre θ :

 n 
ln ( X 1 ,..., X n ,θ ) = − nθ + nX ln θ − ln  ∏ X i !
 i =1 
nX
Sn (θ ) = − n +
θ
 ∂  nE ( X ) n
I n (θ ) = − E  S n (θ )  = =
 ∂θ  θ² θ

On estime θ par X : on a θ . C’est un estimateur efficace.

V (X ) =
n
 D-4 Estimateur efficace

Problème posé : Conditions nécessaire à l'existence d'un estimateur

efficace de k(θ)

Réponses : La loi de X permet une statistique exhaustive (Darmois) de θ .

Dans ce cas, l’estimateur efficace de k(θ ) est une statistique exhaustive de
θ

Dans la suite, on suppose que H est vérifiée.

 D-4 Estimateur efficace

 Théorème sur l’efficacité

• La borne de Cramer-Rao ne peut être atteinte (il ne peut exister
d’estimateur efficace) que si la loi de X appartient à la famille exponentielle

fθ ( x) = exp [ a ( x)α (θ ) + b( x) + β (θ ) ]

(c’est-à-dire si elle permet l’existence d’une statistique exhaustive, Car

l’estimateur efficace est nécessairement exhaustif pour θ.)

• Si la loi de X est bien de la forme précédente, il n’existe qu’une seule

fonction de θ qui puisse être estimée efficacement, c’est : − β '(θ )
k (θ ) =
α '(θ )
1 n
• L’estimateur de k(θ) est alors Tn = ∑ a ( X i ) de variance (minimale) :
n i =1
(k '(θ ))² k '(θ )
V (Tn ) = =
I n (θ ) nα '(θ )
 D-4 Estimateur efficace

Exemple : Loi de Poisson de paramètre θ :

n
On a vu que : ∑
S = X i est exhaustive.
i =1
On peut le retrouver autrement : ln f ( x,θ ) = −θ + x ln θ − ln( x !) donc la loi
de poisson appartient à la famille exponentielle avec

a ( x) = x;α (θ ) = ln θ ; b( x) = − ln( x !); β (θ ) = −θ

n n
Donc d’après le théorème de Darmois S = ∑ a ( X i ) = ∑ X i est exhaustive.
i =1 i =1
D’après le théorème précédent la seule fonction qui puisse être estimée
efficacement est − β '(θ ) l’estimateur efficace est S/n
k (θ ) = =θ
α '(θ )

Remarque :Si S est exhaustive, toute fonction déterministe de S est exhaustive.

Par exemple, S/n est exhaustive.
 D-4 Estimateur efficace

 Remarque importante: Il existe au plus une seule fonction k(θ) du

paramètre θ qui peut être estimée efficacement. En conséquence, s'il existe
une fonction k vérifiant la relation ci-dessus, et si cette fonction n'est pas la
fonction identité, alors il n'existe pas d'estimateur efficace de θ.
 D-4 Estimateur efficace
 Conclusion sur l’estimation de θ :

Cas où les hypothèses de L'inégalité de Cramér-Rao sont satisfaites :

L'inégalité de Cramér-Rao produit une borne inférieure de la variance d'un estimateur sans
biais. Un estimateur sans biais de variance minimale aura donc une variance supérieure ou
égale à la borne inférieure de l’inégalité de FDCR.

Cette borne n’est pas forcément atteinte dans le cas général : On peut par exemple exhiber
des cas où cette borne est égale à 0, et donc évidemment inaccessible.

Lorsqu’elle l’est, On appelle estimateur efficace un estimateur sans biais dont la variance
est égale à la borne inférieure de l’inégalité de FDCR. Dans ce cas, c’est l’estimateur de
variance minimale. Il n’existe que si X admet une loi dans la famille exponentielle et que k
est la fonction indentité, et l’estimateur est dans ce cas unique et exhaustif.

Cas où les hypothèses de L'inégalité de Cramér-Rao ne sont sas satisfaites :

La notion d’estimateur efficace n’a alors pas de sens, ni la borne de Cramer-Rao. Il peut
alors même exister des estimateurs sans biais dont les variances sont inférieures à la borne
(sans signification) de Cramér-Rao.
E- Quelques méthodes d’estimation
 E-1 Estimation par la méthode du
maximum de vraisemblance

Soit ( X1, X2, ..., Xn ) l’échantillon aléatoire associé à un sondage de taille n

dans la population de distribution de probabilité f(x, θ), où θ est un vecteur
de paramètres inconnus, θ ∈ ϑ ⊂ R p et que l'on cherche à estimer.

Estimation par la méthode du maximum de vraisemblance (MLE)

: On choisit comme estimateur de θ le vecteur θn qui rend maximal la
vraisemblance (ou la log-vraisemblance) de l'échantillon dont on dispose.

Θ n = arg maxθ ∈ϑ L( X 1 ,...., X n ,θ ) = arg maxθ ∈ϑ l ( X 1 ,...., X n ,θ )

Pour un sondage particulier, ( x1, x2, ..., xn ), l’estimation (valeur) du

paramètre est :

θˆn = arg maxθ ∈ϑ L( x1 ,...., xn ,θ ) = arg maxθ ∈ϑ l ( x1 ,...., xn ,θ )

 E-1 Estimation par la méthode du
maximum de vraisemblance

Mise en œuvre

Lorsque f(x, θ) est une fonction deux fois différentiable en θ, la méthode la

plus directe consiste à :

 Identifier les extrema de la vraisemblance (ou log-vraisemblance ) en

annulant ses dérivées partielles premières par rapport à θ (le score) . On
résout donc en θ le système d’équations :
Sn (θ ) = 0
 Retenir parmi ces extrema ceux qui sont des maxima, par exemple en
recherchant ceux pour lesquels la matrice des dérivées partielles secondes
de la vraisemblance (ou log-vraisemblance ) est négative au voisinage de
θ.

 Retenir, de ces différents maxima, celui qui présente la plus grande valeur
de la vraisemblance.
 E-1 Estimation par la méthode du
maximum de vraisemblance

Exemple : EMV de l’espérance d’une loi exponentielle de
paramètre θ

n
Ln ( X 1 ,..., X n ,θ ) = ∏θ e −θ X i = θ n e −θ nX
i =1

ln ( X 1 ,..., X n ,θ ) = n ln θ − θ nX
n 1
Sn (θ ) = − nX ⇒ Θ n =
θ X
∂ n
Sn (θ ) = − < 0
∂θ θ²
 E-1 Estimation par la méthode du
maximum de vraisemblance

Propriétés de l’estimateur du Maximum de Vraisemblance
(EMV) (à titre indicatif)

 Propriétés à taille d'échantillon fixe

Prop 1 : S’il existe un estimateur efficace de θ , alors il est égal à l‘unique
EMV de θ.

RQ : La réciproque est fausse : un EMV n'est pas obligatoirement efficace.

Prop 2 : Si le paramètre θ admet une statistique exhaustive, l’EMV est une

fonction de cette statistique exhaustive.

Prop 3 : Si Θ est l’EMV de θ, k(Θ) est l’EMV de k(θ).

 E-1 Estimation par la méthode du
maximum de vraisemblance
 Propriétés asymptotiques

Prop 4 : Pour des échantillons suffisamment grands, l’EMV devient

unique, et tend (en probabilité) vers la vraie valeur du paramètre θ. C'est
donc un estimateur convergent :

θˆn 
P
→θ

Prop 5 : L’EMV est asymptotiquement gaussien et asymptotiquement

efficace ( pour des échantillons suffisamment grands, sa variance est
inférieure à celle de tout autre estimateur et est proche de la borne de
Cramér-Rao) :
θˆn − θ

L
→ N ( 0,1)
1
I n (θ )

où In désigne l'information de Fisher de l’échantillon.

 E-1 Estimation par la méthode du
maximum de vraisemblance

Extensions : Vraisemblance et tests

Puisque la vraisemblance mesure la plus ou moins bonne

adéquation entre une distribution de paramètre donné θ et un
échantillon, on peut s'attendre à la voir jouer un rôle
important dans les tests portant sur le choix entre des
distributions paramétriques candidates pour rendre compte
d'un échantillon. L'exemple le plus simple d'une telle
apparition de la vraisemblance dans le monde des tests est le
Théorème de Neyman-Pearson (cf chapitre suivant) qui établit
que la Meilleure Région Critique d'un test devant décider
entre deux distributions candidates est entièrement
déterminée par des considérations portant sur les
vraisemblances de ces deux distributions pour l'échantillon
disponible.
 E-2 Estimation par la méthode des
moments

Soit ( X1, X2, ..., Xn ) l’échantillon aléatoire associé à un sondage de taille n

dans la population de distribution de probabilité f(x, θ), où θ est un vecteur
de paramètres inconnus de dimension p et que l'on cherche à estimer.

Soient
1 n r
X = ∑ X i et mr (θ ) = Eθ ( X r )
r

n i =1

les moments empiriques et théoriques d’ordre r de l’échantillon et de la loi de X

respectivement (lorsque r=1, on a la moyenne empirique et l’espérance).
Les moments théoriques dépendent de θ.

.
 E-2 Estimation par la méthode des
moments

Estimateur des moments de θ :
L’estimateur des moments de θ est le vecteur Θn qui vérifie le système
d’équations en θ:

X r = mr (θ ), r = 1,... p

Si ce système peut être résolu,

(
Θ n = k X 1 ,...., X p )
est l’estimateur des moments de θ.

Pour un sondage particulier ( x1, x2, ..., xn ), l’estimation (valeur)

correspondante est :
(
θˆn = k x1 ,...., x p )
 E-2 Estimation par la méthode des
moments

Exemple : EM de l’espérance d’une loi exponentielle de
paramètre θ

Θ n solution de :
1 1
Eθ ( X ) = X ⇔ = X ⇒ Θn =
θ X
 E-2 Estimation par la méthode des
moments

Propriétés (à titre indicatif)

 La méthode des moments fournit des estimateurs convergents

 La méthode des moments est conceptuellement plus simple que la méthode
du maximum de vraisemblance

 La méthode des moments fournit des estimateurs peu précis lorsque n est
modéré
 les estimateurs ainsi produits n'ont pas les bonnes propriétés
asymptotiques des estimateurs du Maximum de Vraisemblance. En
particulier on n’a pas en général la loi limite de l’estimateur