Location via proxy:   [ UP ]  
[Report a bug]   [Manage cookies]                

Corrige td4

Télécharger au format pdf ou txt
Télécharger au format pdf ou txt
Vous êtes sur la page 1sur 4

MDI 220 Statistiques

Corrigé : Feuille de travaux dirigés 4


Solution Exercice 1 .
Dans cet exercice, µ0 , σ 2 , τ02 sont des « hyper-paramètres » et supposés connus à l’avance.
1. L’espace des paramètres est : Θ = R.
Pour déterminer la loi a posteriori, on utilise la formule de la distribution a pos-
teriori : π(θ|X = x) = π(θ)p θ (x)
mX (x)
, où mX (x) est la marginale de X en x et joue
uniquement le rôle d’un facteur de normalisation pour π(θ|x) (fonction de θ).
On « voit » alors que θ|x suit une loi gaussienne. Nous calculons donc sa densité à
une constante multiplicative ( une quantité ne dépendant pas de θ) près : Dans toute
la suite, la notation π(θ|x) ∝ g(θ) signifie « ∃λ > 0 : ∀θ, π(θ|x) = λg(θ) », où λ peut
dépendre de x mais pas de θ. La constante λ est une constante
R
de normalisation qui
pourrait être calculée explicitement grâce au fait que θ π(θ|x)dθ = 1, mais dont on
n’a pas besoin dans notre cas pour identifier la loi a posteriori.

π(θ|x) ∝ π(θ)pθ (x)


(θ−µ0 )2
− (θ−x)2
∝e 2τ 2
0 e− 2σ 2
 
µ
− 21 ( 1
+ 12 )θ2 −2( 20 + x2 )θ
τ2 σ σ
∝e 0
τ
0

τ02 +σ 2 µ0 σ 2 +xτ02
 
− 12 θ2 −2 θ
τ 2 σ2 τ 2 +σ 2
∝e 0 0

On identifie l’espérance et la variance de la loi grâce à la relation de proportionnalité


(θ−m)2 1 2 −2mθ)
e− 2v 2 ∝ e− 2v2 (θ et on obtient :
!
µ0 σ 2 + xτ02 τ02 σ 2
θ|x ∼ N , .
τ02 + σ 2 τ02 + σ 2

Si on désire faire tous les calculs (y compris celui de la marginale), on peut utiliser
l’identité suivante : Z +∞
π b2 +c
r
−ax2 +bx+c
e dx = e 4a .
−∞ a
2. Puisque l’échantillon est i.i.d., Y suit une loi produit. Le modèle bayésien pour Y
est donc : 
θ ∼ N (µ , τ 2 ),
0 0
Y |θ ∼ N (θ, σ 2 )⊗n .

Pour déterminer la loi a posteriori, on utilise la formule de la distribution a poste-


riori : π(θ|y) = π(θ)p θ (y)
mY (y)
, où mY est la marginale de Y . À une constante près cela

—1—
MDI 220 Statistiques

donne :

π(θ|y) ∝ π(θ)pθ (y)


(θ−µ0 )2
Pn
− (θ−xi )2
− i=1
2τ 2
∝e 0 e 2σ 2
 P 
x
− 12 ( 1 µ
+ n2 )θ2 −2( 20 + i i )θ
τ2 σ τ σ2
∝e 0 0

 P 
nτ02 +σ 2 µ0 σ 2 +τ02 x
− 12 θ2 −2 i iθ
τ 2 σ2 nτ 2 +σ 2
∝e 0 0

On reconnaît une loi gaussienne :


!
µ0 σ 2 + τ02 i xi τ02 σ 2
P
θ|y ∼ N , 2 .
nτ02 + σ 2 nτ0 + σ 2

Pour étudier le comportement lorsque n → +∞, on réécrit l’espérance et la variance


de la loi en introduisant la moyenne des xi , x̄ = n1 ni=1 xi :
P

!
µ0 σ 2 + nτ02 x̄ τ02 σ 2
θ|y ∼ N , .
nτ02 + σ 2 nτ02 + σ 2

nτ02 x̄ τ02 σ 2 σ2
Lorsque n → +∞, E(θ|y) ∼ nτ02
= x̄ → E(X1 |θ) = θ et Var(θ|y) ∼ nτ02
= n
→ 0.

Solution Exercice 2 .
1. L’espace des paramètres est : Θ = {θ1 , θ2 }.
Le modèle statistique est : P = {B(θ), θ ∈ Θ}, où B(θ) est une loi de Bernoulli de
paramètre θ.
2. Ici on définit un modèle bayésien pour X :

θ ∼ π,
X|θ ∼ B(θ).

De manière générale, on a :

π(θ)pθ (x) π(θ)θx (1 − θ)1−x


π(θ|x) = = .
π(θ1 )pθ1 (x) + π(θ2 )pθ2 (x) π(θ1 )θ1x (1 − θ1 )1−x + π(θ2 )θ2x (1 − θ2 )1−x

Pour π = π1 (π1 (θ1 ) = π2 (θ2 ) = 0.5), on obtient donc les valeurs π1 (θ|x) :

θ/x 0 1
1−θ1 2 θ1 1
θ1 1−θ1 +1−θ2
= 3 θ1 +θ2
= 4
1−θ2 1 θ2 3
θ2 1−θ1 +1−θ2
= 3 θ1 +θ2
= 4

—2—
MDI 220 Statistiques

3. On a maintenant comme distribution a priori : π2 (θ1 ) = 1/4, π2 (θ2 ) = 3/4.


On obtient donc les valeurs π2 (θ|x) :
θ/x 0 1
1×(1−θ1 ) 2 1×θ1 1
θ1 1×(1−θ1 )+3×(1−θ2 )
= 5 1×θ1 +3×θ2
= 10
3 9
θ2 5 10

4. La densité de la loi prédictive a posteriori est donnée par :


p(y) = π2 (θ1 |x)pθ1 (y) + π2 (θ2 |x)pθ2 (y).
1 9 11 14
Pour x = 1 on obtient : p(0) = 10 × (1 − 0.2) + 10
× (1 − 0.6) = 25
et p(1) = 25
.
5. Pour X = (X1 , . . . , Xn ) échantillon i.i.d. :
π(θ)pθ (x)
π(θ|x) =
π(θ1 )pθ1 (x) + π(θ2 )pθ2 (x)
P P
xi
π(θ)θ i (1 − θ)n− i
xi
= P
xi
P P
xi
P
π(θ1 )θ1 (1 − θ1 )n− i xi + π(θ2 )θ2 i (1 − θ2 )n−
i i
xi

π(θ)θs (1 − θ)n−s
= .
π(θ1 )θ1s (1 − θ1 )n−s + π(θ2 )θ2s (1 − θ2 )n−s
Ainsi π(θ|x) ne dépend de x qu’à travers s.
6. On pose α = θθ12 (1−θ
(1−θ2 )
1)
= 23 . Alors :
π(θ1 )
π(θ1 |x) =
π(θ1 ) + αn/2 π(θ2 )
et
π(θ2 )
π(θ2 |x) = −n/2
.
απ(θ2 )π(θ1 ) +
D’où, quand n → +∞, π(θ1 |x) → 0 et π(θ2 |x) → 1, indépendamment de la distri-
bution a priori de θ. La loi conditionnelle a posteriori tend à privilégier le θ le plus
proche de 0.5 (en effet θ2 = 0.6 ≈ 0.5 et θ1 = 0.2 6= 0.5).
Solution Exercice 3 .
π(θ)pθ (x)
1. On détermine la distribution a posteriori par la formule π(θ|x) = mX (x)
, où mX
est la marginale de X. Ici π(θ) = 1]0,1[ (θ). On obtient donc :
Z
X
m (x) = π(θ)pθ (x) dθ
R+
Z 1
= pθ (x) dθ
0
2x
Z 1
= dθ
x θ2
−2x 1
 
=
θ x
= 2(1 − x) si x > 0 et 0 sinon.

—3—
MDI 220 Statistiques

x 1
D’où : π(θ|x) = 1−x θ2
pour θ ∈ [x, 1] et x > 0, et 0 sinon.
2. De la même manière pour π(θ) = 3θ2 1]0,1[ (θ) : mX (x) = x1 3θ2 2x dθ = 6x(1 − x)
R
θ2
1
(pour x > 0 et 0 sinon) et π(θ|x) = 1−x pour θ ∈ [x, 1] et x > 0, et 0 sinon.
3. L’espérance a posteriori est donnée par :
Z Z
E(θ|x) = θπ(dθ|x) = θπ(θ|x) dθ.
Θ R+

Elle est systématiquement nulle pour x ≤ 0. Dans la suite on suppose donc que
x > 0.
1 x log(x)
x 1 R1 x 1
Dans le premier cas (π(θ|x) = 1−x θ 2 [x,1] (θ)) : E(θ|x) = x θ 1−x θ2 dθ = − 1−x .
1[x,1] (θ)) : E(θ|x) =
1 R1 θ
Dans le second cas (π(θ|x) = 1−x x 1−x dθ = 12 (1 + x).
4. Dans cette question, on dispose d’un échantillon i.i.d. X = (X1 , . . . , Xn ). X suit
une loi produit. Ainsi, pour π(θ) = 1]0,1[ (θ), la marginale de X est donnée par :
Z
mX (x) = π(θ)pθ (x) dθ
R+
Z 1
= pθ (x) dθ
0
Z 1 nQ
2 i xi
= dθ (x0 = max xi )
x0 θ2n i
#1
nQ
"
2 i xi
= −
(2n − 1)θ2n−1 x0
n Q !
2 i xi 1
= −1 .
2n − 1 x2n−1
0

En conséquence, la densité a posteriori est obtenue par la formule suivante :

1 2n i xi 2n − 1 x2n−1
Q
0
π(θ|x) = X =
m (x) θ2n θ2n 1 − x02n−1

pour θ ∈ [x0 , 1] et 0 sinon.

—4—

Vous aimerez peut-être aussi