SERII TEMPOALE ARMA STATIONARE

SERIE TEMPORALA = o multime de observatii asupra unui fenomen

aleator ce se desfasoara in timp.
Serie in timp discret = observarea unui numar nit de valori (portiune
dintr-o traiectorie) pentru un proces stocastic cu timp discret.
Exemplul 1: Annual measurements of the level, in feet, of Lake
Huron 1875-1972.
Usage: LakeHuron
Format: A time series of length 98.
Source: Brockwell, P. J. & Davis, R. A. (1991). _Time Series and Forecasting Methods_. Second edition. Springer, New York. Series A, page 555.
> library(utils)
> LakeHuron
Time Series:
Start = 1875
End = 1972
Frequency = 1
580.38, 581.86, 580.97, 580.80, 579.79, 580.39, 580.42, 580.82, 581.40, 581.32,
581.44, 581.68, 581.17, 580.53, 580.01, 579.91, 579.14, 579.16, 579.55, 579.67,
578.44, 578.24, 579.10, 579.09, 579.35, 578.82, 579.32, 579.01, 579.00, 579.80,
579.83, 579.72, 579.89, 580.01, 579.37, 578.69, 578.19, 578.67, 579.55, 578.92,
578.09, 579.37, 580.13, 580.14, 579.51, 579.24, 578.66, 578.86, 578.05, 577.79,
576.75, 576.75, 577.82, 578.64, 580.58, 579.48, 577.38, 576.90, 576.94, 576.24,
576.84, 576.85, 576.90, 577.79, 578.18, 577.51, 577.23, 578.42, 579.61, 579.05,
579.26, 579.22, 579.38, 579.10, 577.95, 578.12, 579.75, 580.85, 580.41, 579.96,
579.61, 578.76, 578.18, 577.21, 577.13, 579.10, 578.25, 577.91, 576.89, 575.96,
576.80, 577.68, 578.38, 578.52, 579.74, 579.31, 579.89, 579.96
>
>plot(LakeHuron)
>
Exemplul 2: Monthly totals of international airline passengers,
1949 to 1960.
Usage: AirPassengers
Format: A monthly time series, in thousands.
Source: Box, G. E. P., Jenkins, G. M. and Reinsel, G. C. (1976) _Time
Series Analysis, Forecasting and Control._ Third Edition. Holden-Day. Series
G.

> AirPassengers
Jan Feb.Mar.Apr.May Jun.Jul.Aug.Sep.Oct.Nov.Dec.
1949
112 118 132 129 121 135 148 148 136 119 104 118
1950
115 126 141 135 125 149 170 170 158 133 114 140
1951
145 150 178 163 172 178 199 199 184 162 146 166
1952
171 180 193 181 183 218 230 242 209 191 172 194
1953
196 196 236 235 229 243 264 272 237 211 180 201
1954
204 188 235 227 234 264 302 293 259 229 203 229
1955
242 233 267 269 270 315 364 347 312 274 237 278
1956
284 277 317 313 318 374 413 405 355 306 271 306
1957
315 301 356 348 355 422 465 467 404 347 305 336
1958
340 318 362 348 363 435 491 505 404 359 310 337
1959
360 342 406 396 420 472 548 559 463 407 362 405
1960
417 391 419 461 472 535 622 606 508 461 390 432
>
>plot(AirPassengers)
>

1) Procese ARMA stationare: proprietati probabiliste

Fie X = fXt ; t 2 Zg un proces stocastic cu valori reale. Notam
(t) = M (Xt ) (< 1)
(r; s) = cov (Xr ; Xs ) (< 1)
X proces slab stationar (sau "stationar") ()
M Xt2 < 1; 8t 2 Z
(t) = ; 8t 2 Z
(r; s) = (r + t; s + t) ; 8r; s; t 2 Z
Observatie: Notand
(h; 0) =

(h) ;

ultima conditie de mai sus este echivalenta cu

(t; t + h) =

(h) ; 8t 2 Z

X este o serie de timp Gaussiana () repartitiile nit dimensionale

ale procesului sunt normale.

X este un zgomot alb de medie 0 si dispersie

(W N 0;

) daca

(t) = 0; 8t 2 Z
2

;
0;

(h) =

h=0
h 6= 0

Notam un sir de variabile independente, identic repartizate de

medie 0 si dispersie 2 cu (IID 0; 2 )
Denitie:
Procesul X = fXt ; t 2 Zg se numeste serie temporala ARM A (p; q) daca:
X = fXt ; t 2 Zg stationar
Xt

1 Xt 1

:::

p Xt p

= f t ; t 2 Zg este W N 0;

i; j

1 t 1

+ ::: +

2 R 8i; j;

q t q;

6= 0;

8t; unde

6= 0:

Notatii
B j Xt = Xt j ; j = 0; 1; 2:::::
p
(z) = 1
:::
1z
pz
(z) = 1 + 1 z + ::: + q z q
Cu aceste notatii, ecuatia cu diferente ARM A se scrie
(B) Xt = (B)

Procesul = f t ; t 2 Zg se numeste sirul inovatiilor.

Cazuri particulare:
M A (q) :

(z) = 1;
Xt = (B)

Spunem ca aceasta ecuatie cu diferente are solutie unica X = fXt ; t 2 Zg :

Cu notatia 0 = 1;
M (Xt ) =

q
X

jM

t j)

=0

j=0

cov (Xt+h ; Xt ) =

8
>
<
>
:

q jhj

j=0

j+jhj ;

jhj

j h j> q

AR (p) : (z) = 1;
(B) Xt =

Existenta si unicitatea solutiei X = fXt ; t 2 Zg a acestei ecuatii cu diferente

sunt asigurate in anumite conditii.
Discutie pentru AR (1)
Xt

1 Xt 1

=
Xt =

Xt =

k
X

j
1) t j

t 1

1 Xt 2 )

k+1
1)

+(

Xt

= ::::::

k 1

j=0

2 def

Daca j 1 j < 1 si X = fXt ; t 2 Zg este stationar, atunci kXt k = M Xt2 =

constant si
k
X

Xt

1)

t j

2(k+1)
1)

=(

j=0

Seria

1
X

j
1) t j

kXt

2
k 1k

! 0 pt k ! 1

este convergenta in medie patratica, deci ecuatia cu difer-

j=0

ente AR(1) are solutia unica

Xt =

1
X

j
1) t j

j=0

M (Xt ) =

1
X

j
1)

M(

t j)

j=0

00
1
X
cov (Xt+h ; Xt ) = lim M @@
(
n!1

1)

t+h j

j=0

1
X
jhj
= 2 ( 1)
(

2j
1)

j=0

(1

= 0; 8t
10
A@

1
X

1)

t j

j=0

jhj

1)
2)
1

11

AA =

(h) ; 8t

adica solutia este un proces stationar.

1
X
j
Daca j 1 j > 1; seria
( 1 ) t j nu este convergenta in medie patratica.
j=0

Totusi, scriind

Xt =

1
t+1

1
1

Xt+1 = :::

obtinem solutia unica a ecuatiei cu diferente sub forma

1
X

Xt =

1)

j
t+j

j=1

Observam ca Xt astfel obtinut este corelat cu f s ; s > tg; ceea ce este nenatural (corelarea starii prezente a procesului cu inovatiile viitoare).
Daca j 1 j = 1; ecuatia cu diferente AR(1) nu are solutie stationara.
Denitie
O serie temporala ARM A (p; q) de forma
(B) Xt = (B)

se numeste proces cauzal de = f t ; t 2 Zg daca exista un sir de constante

j 2 C; j = 0; 1; :::asa incat
1
X
j jj < 1
j=0

Xt =

1
X

j t j;

j=0

t2Z

Teorema 1 (toate detaliile de calcul: Brockwell & Davis)

Fie X = fXt ; t 2 Zg un proces ARM A (p; q) pentru care polinoamele (z)
(z) nu au radacini comune. Procesul X este cauzal daca si numai daca
(z) 6= 0 pentru orice z 2 C cu jzj
1: Coecientii j 2 C; j = 0; 1; :::sunt
determinati de relatia

si

(z) =

1
X

(z)
pentru jzj
(z)

zj =

j=0

Demonstratie:
Pp. ca (z) 6= 0 pentru jzj
admite dezvoltarea in serie

1: Rezulta ca 9" > 0 asa incat 1= (z)

X
1
=
cj z j = c (z) ; jzj < 1 + ":
(z) j=0
j

Rezulta cj (1 + "=2) ! 0 pentru j ! 1; deci 9K 2 (0; 1) pentru care

jcj j < K 1 +

"
2

8j = 0; 1; 2; :::

In particular,
1
X
j=0

c (z)

jcj j < 1
(z) = 1 pentru jzj

Aplicam operatorul c (B) in ambii membri ai ecuatiei ARM A (p; q) si obtinem

Xt = c (B) (B) t ;
respectiv
Xt =

1
X

j t j

j=0

cu
(z) =

1
X

(z)
pentru jzj
(z)

zj =

j=0

Pp ca X = fXt ; t 2 Zg este cauzal. Atunci

(B)

(B) Xt =

Notand
(z) =

(z)

(z) =

1
X
j=0

putem scrie

q
X

j t j

j=0

Inmultind cu

t k

(B)

(B) t ; 8t

z j pentru jzj

1
X

1;

j t j

j=0

in ambii membri si mediind, obtinem

k

k;
0;

k = 0; 1; :::; q
;
k>q

deci
(z) = (z) =
jzj

(z)

(z) pentru jzj

Cum polinoamele (z) si (z) nu au radacini comune iar j (z)j < 1 pentru
1; rezulta ca (z) 6= 0 pentru jzj 1:

Observatie:
Daca X = fXt ; t 2 Zg este o solutie stationara a ecuatiei cu diferente
1
X
ARM A (p; q) cu (z) 6= 0 pentru jzj 1; atunci rezulta Xt =
j t j:
j=0

Reciproc, daca Xt =

1
X

j t j;

atunci (B) Xt =

(B)

(B)

= (B) t .

j=0

Astfel, procesul f (B) t ; t 2 Zg este unica solutie stationara a ecuatiei cu

diferente ARM A (p; q) cu (z) 6= 0 pentru jzj 1:
Particularizari ale Teoremei 1
1) Procesul M A (q) este cauzal, 8 1 ; :::;

2) AR (1) ; Xt
1 Xt 1 = t ; este cauzal () polinomul
radacina de modul mai mare ca 1; adica
j

(z) = 1

z 1
z+1
y+1
z=
y 1

y=

z2
= [ 1; 1] () y > 0

y2 (

y+1
y 1

y+1
y 1

1) + y (2

+ 2) +

Conditia yi > 0; i = 1; 2 este echivalenta cu

y 1 + y2 > 0
y1 y2 > 0
2(

+ 1)
>0
1
2
1
1
2+ 1
>0
1
2
1

2
2

are

j< 1

3) AR (2) ; Xt
1 Xt 1
2 Xt 2 = t ; este cauzal () polinomul
2
z
z
are
radacinile
inafara
cercului unitate.
1
2
Consideram

1+

1z

<1
1 <1
1< 2<1
1

=0
2

(z) =

Denitie:
O serie temporala ARM A (p; q) denita de ecuatia cu diferente (B) Xt =
(B) t se numeste inversabila daca exista un sir de constante f j ; j = 0; 1; :::g
asa incat
1
X
j jj < 1
j=0

1
X

j Xt j ;

j=0

8t 2 Z

Teorema 2 (toate detaliile de calcul: Brockwell & Davis)

Fie X = fXt ; t 2 Zg un proces ARM A (p; q) pentru care polinoamele (z)
si (z) nu au radacini comune. Procesul X este inversabil daca si numai daca
(z) 6= 0 pentru orice z 2 C cu jzj
1: Coecientii j 2 C; j = 0; 1; :::sunt
determinati de relatia
(z) =

1
X

(z)
pentru jzj
(z)

zj =

j=0

Observatie: Procesul AR (p) este inversabil, 8

1 ; :::;

Structura de covarianta (corelatie) a seriilor ARM A (p; q) stationare

1) Serii temporale AR (p)
Xt =

p
X

i Xt i

t;

i=1

unde = f t ; t 2 Zg este W N 0;
Xt2

(0) =

p
X

i=1
p
X

t2Z

: Avem M (Xt ) = 0; 8t 2 Z
i Xt i Xt

t Xt

(i) + M ( t Xt )

i=1

Dar
t Xt =

p
X

i Xt i t

i=1

M ( t Xt ) = M

2
t

2
t

(0) =

p
X

(i) +

i=1

Pe de alta parte, pentru k

Xt Xt

1;

p
X

i Xt i Xt k

i=1
p
X

(k) =

(k

t Xt k

i)

i=1

Am obtinut relatiile care descriu structura de covarianta a seriei temporale:

p
X

(0) =

(i) +

(k

i=1

p
X

(k) =

i) ; k = 1; :::; p

i=1

Notam functia de autocorelatie

(k)
; k
(0)

(k) =

(0) = 1
Structura de corelatie a seriei temporale este descrisa de relatiile
Yule - Walker:
p
X
(k) =
(k i) ; k = 1; :::; p
i
i=1

Cazul AR(1) cauzal, cu j

j< 1:
2

(0) =

k
1

(k) =
(1) =
Cazul AR (2) cauzal, cu
(0) =
(1) =
(2) =

+
1
1
1

2
1

(0) ; k

1
1

< 1;

(1) +
(0) +
(1) +

2
2
2
2

< 1;

(2) +
(1)
(0)

1<
2

<1:

(0) =

(1

2)

2
2

2
1

3
2

(1) =
(2) =

3
2

2
1
2

3
2

2
1

2
2
1

2+
2
2

+1

2
1 2
2
2
2
1 2

+1

2
2

(1) =
(2) =

2
1 2

+1

(1)
(1) + 2
2

(1) =

(2) =

2
1

+
1

2
2
2

2) Serii temporale M A (q)

Xt =

q
X

t+

j t j

j=1

unde = f t ; t 2 Zg este W N 0; 2 : Avem M (Xt ) = 0; 8t 2 Z: Notam

0
10
1
q
q
X
X
A@
A
Xt Xt k = @
j t j
j t k j
j=0

(k) =

8
>
<
>
:

(0) =

(k) =

8 q
>
< X
>
:

j=0

q
X

j j+k ;

j=0

0;

1+

j j+k

j=0

k>q
2
1

, q
X

+ ::: +
2
j

2
q

k = 1; 2; :::; q

j=0

0;

k>q

(0) = 1

Cazul M A(1) inversabil, cu j

j< 1:

(0) =

1+

(1) = 2 1
(k) = 0; k > 1
10

2
1

= 1:

3) Serii temporale ARM A (p; q) :

Xt =
Xt2 =
(0) =

1 Xt 1

+ ::: +

1 t 1

q t q

+ ::: + p Xt p Xt + t Xt + 1 t 1 Xt + ::: + q t q Xt
(1) + ::: + p (p) + M ( t Xt ) + 1 M ( t 1 Xt ) + ::: + q M (

1 Xt 1 t
2

M ( t Xt ) = 0 +

t 1 Xt

M(

p Xt p

1 Xt 1 Xt

t Xt

M(

+ ::: +

1 Xt 1 t 1

t 1 Xt )

t 2 Xt

1 Xt 1 t 2

t 2 Xt )

1M

(Xt

2
t

p Xt p t 1

p Xt p t

+ ::: +

1 t 1 t

q t q t

+0

+ ::: +

t q Xt )

+ ::: +

t t 1

2
1 t 1

+ ::: +

q t q t 1

1)

2 Xt 2 t 2 :::

1 t 2)

+
2)

p Xt p t 2
2

+
1

t t 2

1)

+(

1 t 1 t 2
2

2 ))

etc:
Putem insa utiliza reprezentarea procesului ARM A (p; q) ca proces cauzal,
Xt =

1
X

j t j;

t2Z

j=0

Obtinem
(0) =

(1) + ::: +

(p) +

q
X

j=0

Analog, multiplicand ecuatia cu diferente ARM A (p; q) cu Xt

(folosind din nou reprezentarea ca proces cauzal), obtinem:
(k) =

(k

1) + ::: +

(k

p) +

q
X
j=k

k < maxfp; q + 1g
(k) = 1 (k 1) + ::: +
k maxfp; q + 1g

11

(k

p)

j k;

si mediind

2
2 t 2

+ ::: +

q t q t 2

Cazul ARM A(1; 1) cauzal si inversabil, cu j 1 j< 1, j 1 j< 1:

In acest caz se pot face toate calculele in mod direct, neind necesara utilizarea reprezentarii cauzale.
Xt =
Xt2 =
(0) =
Xt Xt

(1) =
(0) =
(1) =
(k) =

1 Xt 1

1 Xt 1 Xt

2
1 Xt 1

1
1
1

t Xt

(0) +

(1) +

(1) +

t Xt 1
1

1 t 1

1 t 1 Xt
1

1 t 1 Xt 1

(1 +

(0) + 1
(k 1) ; k

(0) =
(1) =
(k) =

(1) =
(k) =

1 + 2 1 1 + 12
2
1
1
2
(1 + 1 1 ) ( 1 +
2
1
1
(k

1) ; k

1)

(1 + 1 1 ) ( 1 + 1 )
(1 + 2 1 1 + 12 )
1

(k

12

1)

1) ; k

1 ))

Serii temporale AR (p) ; cu inovatii Gaussiene

In rezultatele de mai sus nu s-a specicat repartitia zgomotului alb =
f t ; t 2 Zg care reprezinta inovatiile ce genereaza seria temporala ARM A (p; q) :
Discutam cazul cand este W N 0; 2 Gaussian, adica este un sir de
variabile IID, N 0; 2 :
In particular, seriile AR (p) cauzale, Gaussiene au proprietati probabiliste
suplimentare, cea mai interesanta ind dependenta de tip Markov a componentelor procesului.
Lanturi Markov cu multimea starilor (R; B)
Probabilitati pe spatiul masurabil produs Rn+1 ; B n+1
Fie F : B ! [0; 1] o probabilitate pe (R; B) (o repartitie) si Q : R B !
[0; 1] o probabilitate de trecere de la (R; B) la (R; B) ( Q ( ; B) masurabila
8B 2 B si Q (x; ) probabilitate pe (R; B) 8x 2 R).
Construim
Q : B 2 ! [0; 1]
Z
Q) (A) = Q (x1 ; Ax1 ) dF (x1 ) ; 8A 2 B 2
F

(F

cu Ax1 = fx2 j (x1 ; x2 ) 2 Ag:

F Q este probabilitate pe R2 ; B 2 :
Fie Q1 ; Q2 : R B ! [0; 1] doua probabilitati de trecere de la (R; B) la
(R; B). Construim
Q2 : R B 2 ! [0; 1]
Z
Q2 ) (x1 ; A) = Q2 (x2 ; Ax2 ) Q1 (x1 ; dx2 ) ; 8A 2 B 2
Q1

(Q1

Q1

Q2 este probabilitate de trecere de la (R; B) la R2 ; B 2 :

Fie F : B ! [0; 1] o probabilitate pe (R; B) si Q1 ; :::; Qn : R

probabilitati de trecere de la (R; B) la (R; B) :

13

B ! [0; 1]

Construim
F

(Q1

::::: (Qn

Qn ))

si obtinem o probabilitate pe spatiul masurabil produs Rn+1 ; B n+1 :

Denitii
Fie X = fXt ; t 2 N g un proces stocastic cu multimea starilor (R; B) si e
fQn ; n = 1; 2; :::g un sir de probabilitati de trecere de la (R; B) la (R; B) :
Spunem ca fQn ; n = 1; 2; :::g sunt repartitiile de trecere ale procesului
X daca
1
P (Xn 1 ; Xn ) = P Xn 11
Qn ; 8n = 1; 2; :::
Spunem ca X este un lant Markov cu repartitiile de trecere fQn ; n =
1; 2; :::g daca
P (Xn+1 2 B j Xn ; Xn

1 ; :::; X0 )

= P (Xn+1 2 B j Xn ) = Qn (Xn

1 ; B)

P a:s:; 8B 2 B

Lantul Markov este omogen daca Qn = Q 8n

Un lant Markov omogen cu multimea starilor (R; B) este caracterizat de
repartitia de trecere Q si de repartitia initiala F = P X0 1 :
Atunci
P ((X0 ; X1 ; :::; Xn ) 2 B0

B1 ::: Bn ) = F
8B0 ; B1 ; :::; Bn 2 B

(Q

::::: (Q

Q)) (B0

B1

Denitii:
Fie X = fXt ; t 2 N g un lant Markov omogen, cu repartitia de trecere Q:
Q se numeste ergodica daca exista o probabilitate pe (R; B) asa incat
pentru 8B 2 B
lim P (Xn 2 B) = (B) ;
n!1

oricare ar repartitia initiala F = P X0 1 :

Repartitia este stationara pentru Q daca pentru 8B 2 B
Z
(B) = Q (x; B) d (x)
R

Lantul Markov se numeste regulat daca repartitia sa de trecere este ergodica, iar repartitia limita este stationara pentru Q:
Model parametric pentru un lant Markov regulat, cu multimea
starilor (R; B)
( ; K; P ) ;

14

Rk ; k

:::

Bn )

Pentru un lant Markov regulat cu repartitia de trecere Q si cu repartitia

stationara ; presupunem:
Z
Q (x; B) = P (Xn 2 B j Xn 1 = x) = f (x; y; ) dy
B

f (x; y; )

0; 8y 2 R

f (x; y; ) dy = 1

(densitatea de trecere)

(B) =

f (x; ) dx

f (x; )

0; 8x 2 R

f (x; ) dx = 1 (densitatea repartitiei stationare)

Conditia de "stationaritate pentru Q" se exprima in termenii densitatilor de

repartitie:
Z
f (y; ) =

f (x; ) f (x; y; ) dx; 8y 2 R

Observatie
Densitatea de repartitie a vectorului (X0 ; X1 ; :::; Xn ) este
f (x0 ; x1 ; :::; xn ; ) = f (x0 ; )

n
Y

f (xi

1 ; xi ;

i=1

Procesul AR (1) cauzal Gaussian, de medie

Fie = f t ; t 2 N g un sir de variabile aleatoare independente, identic repartizate N 0; 2 si e 2 R; 2 ( 1; 1) :
X0 = variabila aleatoare cu o repartitie
X t = + Xt 1 + t ; t 2 N
=

; ;

2 R;

15

ce va precizata

2 ( 1; 1) ;

2 (0; 1)

X = fXt ; t 2 N g este un proces AR (1) cauzal, cu

= M (Xt ) =
(0) = D2 (Xt ) =

1
2
2

(1) =

(k) = cov (Xt+k ; Xt ) =

(0) =

2
2

; k

(1)
=
(0)

Propozitie
Procesul AR (1) cauzal, cu inovatii gaussiene este un lant Markov regulat,
cu
Q (x; ) = N

+ x;

=N

2
2

(y

( + x))

Demonstratie:
Consideram
Q (x; B) = p

1
2

exp

dy

Q (x; B) astfel denita este o repartitie de trecere de la (R; B) la (R; B)

pentru ca:
- pentru B xat, avem x ! Q (x; B) functie B masurabila
- pentru x xat, Q (x; ) este probabilitate pe (R; B)
Interpretarea lui Q :

P (Xn+1 2 B j Xn = x) = P ( + x +
=p

1
2

exp

n+1

2 B) =
1

(y

( + x+
2

( + x))

n+1

(!)) dP (!) =

dy = Q (x; B)

Proprietatea Markov :
Notam Fn = B (X0 ; :::; Xn ) si e A 2 Fn arbitrar ales.
Z
Z
P (Xn+1 2 B j Fn ) (!) dP (!) = M
X 1 (B) j Fn (!) dP (!) =
n+1

1
Xn+1
(B)

16

(!) dP (!) = P

1
A \ Xn+1
(B)

a:s:

Fie d (!) = (!; !) : Putem scrie

P

1
A \ Xn+1
(B) = P d 1 (f(! 0 ; !) j ! 0 2 A; + Xn (! 0 ) + n+1 (!) 2 Bg) =
= (P
P ) (f(! 0 ; !) j ! 0 2 A; + Xn (! 0 ) + n+1 (!) 2 Bg) =
Z
= P (f! j + Xn (! 0 ) + n+1 (!) 2 Bg) dP (! 0 ) =
A

Q (Xn (! 0 ) ; B) dP (! 0 )

Rezulta
P (Xn+1 2 B j Fn ) = Q (Xn ; B) P

a:s:

Avem deci un lant Markov, cu repartitia de trecere Q (x; ) = N

+ x;

Repartitia stationara:
Notam cu ' (t) functia caracteristica a repartitiei stationare : Determinarea
analitica a lui ' se face pornind de la conditia
'Xn+1 (t) = ' (t) ; 8t
M (exp (it ( + Xn +

n+1 )))

= ' (t) ; 8t

exp (it ) M (exp (it Xn )) M (exp (it

1 2
t
2

exp (it ) ' ( t) exp

n+1 ))

= ' (t) ; 8t

= ' (t) ; 8t

Deci, determinarea analitica a lui ' se face din conditia

' ( t) exp it

1 2
t
2

= ' (t) ; 8t

- Printr-un calcul direct se arata ca functia

t2
2 (1

it
1

exp
verica aceasta conditie.
- Notam

2
2)

' (t)

g (t) =
exp

it
1

t2
2(1

2
2)

Daca avem conditia de determinare a lui ' vericata, atunci

g (t) = g ( t) ; 8t
g (0) = 1
g continua

17

Rezulta g (t) = 1 8t: Deci

' (t) = exp

t2
2 (1

it
1

2)

=N

Densitatea stationara si densitatea de trecere:

(
1
1
f (x; ) = q
x
exp
2
2
1
21 2
2 1 2
f (x; y; ) = p

1
2

exp

1
2

(y

M (Xn+1 j Xn = xn ) =
2

D (Xn+1 j Xn = xn ) =

x)

; x2R

; y2R

+ xn
2

Observatie:
Din proprietatile lui R ca spatiu Hilbert (cu produsul scalar < X; Y >=
cov (X; Y )), stim ca cel mai bun predictor liniar al lui Xn+1 ; cunoscand
fXt ; t = n; n 1; :::g este
\
X
n+1 = M (Xn+1 j Xn ) =

+ Xn

Rezultatele prezentate pentru un proces AR (1) cauzal, Gaussian se extind

la AR (2) ; respectiv la AR (p) cu p > 1:

18

Lant Markov de ordinul 2; cu multimea starilor (R; B)

Fie F : B 2 ! [0; 1] o probabilitate pe R2 ; B 2 si Q : R2 B ! [0; 1]
o probabilitate de trecere de la R2 ; B 2 la (R; B) ( Q ( ; B) masurabila
8B 2 B si Q (x1 ; x2 ; ) probabilitate pe (R; B) 8x1 ; x2 2 R).
Construim
Q : B 3 ! [0; 1]
Z
Q) (A) = Q (x1 ; x2 ; Ax1 ;x2 ) dF (x1 ; x2 ) ; 8A 2 B 3
F

(F

R2

cu Ax1 ;x2 = fx3 j (x1 ; x2 ; x3 ) 2 Ag:

F Q este probabilitate pe R3 ; B 3 :
Denitie
Fie X = fXt ; t 2 N g un proces stocastic cu multimea starilor (R; B) si e
fQn ; n = 1; 2; :::g un sir de probabilitati de trecere de la R2 ; B 2 la (R; B) :
Spunem ca X este un lant Markov de ordin 2 cu repartitiile de trecere
fQn ; n = 1; 2; :::g daca
P (Xn+1 2 B j Xn ; Xn 1 ; :::; X0 ) = P (Xn+1 2 B j Xn ; Xn
P a:s:; 8B 2 B

1)

= Qn ((Xn

1 ; Xn ) ; B)

Lantul Markov este omogen daca Qn = Q 8n

Un lant Markov de ordin 2 omogen cu multimea starilor (R; B) este carac1
terizat de repartitia de trecere Q si de repartitia initiala F = P (X0 ; X1 ) :
Pentru modelul parametric, se introduc: densitatea de trecere si densitatea
stationara:
Q (x1 ; x2 ; B) = P (Xn 2 B j Xn 1 = x1 ; Xn
Z
= f (x1 ; x2 ; x3 ; ) dx3 ;

= x2 ) =

f (x1 ; x2 ; x3 ; )

0; 8x3 2 R

f (x1 ; x2 ; x3 ; ) dx3 = 1 (densitatea de trecere)

(B) =

f (x1 ; x2 ; ) dx1 dx2 ; B 2 B 2

f (x1 ; x2 ; )

0; 8x1 ; x2 2 R

f (x1 ; x2 ; ) dx1 dx2 = 1 (densitatea repartitiei stationare)

R2

19

Procesul AR (2) cauzal Gaussian, de medie zero

Fie = f t ; t 2 N g un sir de variabile aleatoare independente, identic repartizate N 0; 2 si e X = fXt ; t 2 N g un proces AR (p) cauzal
Xt =
=

1;

2;

1 Xt 1

2 Xt 2

< 1;

t;

t2N

< 1; 1 <

< 1;

2 (0; 1)

M (Xt ) = 0; 8t
2

(0) =

3
2

2
1

(1
2
2

2
2

(1) =
(k) =

3
2

2
1

(k

2)
2
1 2

+1

2
1 2

+1

2
2

1) +

(k

2) ; k

Propozitie
Procesul AR (2) cauzal, cu inovatii Gaussiene este un lant Markov de ordinul
2, cu
Q (x1 ; x2 ; ) = N 1 x2 + 2 x1 ; 2
=N

2;

0
0

(0)
(1)

(1)
(0)

Generalizare:
Procesul AR (p) cauzal, cu inovatii Gaussiene este un lant Markov de ordinul
p, cu
Q (x1 ; :::; xp ; ) = N 1 xp + ::: + p x1 ; 2
0 0
1 0
11
0
(0)
(1)
:::
(p 1)
B B 0 C B
C
(1)
(0)
:::
(p 2) C
B
C B
CC
=NB
@p; @ ::: A ; @
AA
:::
:::
:::
:::
0
(p 1)
(p 2) :::
(0)

20

2) Estimarea parametrilor pentru serii temporale ARMA stationare

Problema estimarii parametrilor unei serii temporale ARM A (p; q) cauzale
si inversabile se pune in doua etape:
Fara precizarea repartitiei sirului inovatiilor. In acest caz se estimeaza
media si functia de covarianta a procesului (printr-o metoda generala),
dupa care se aplica metoda momentelor, utilizand structura de corelatie a
respectivei serii temporale.
Cu precizarea repartitiei sirului inovatiilor. In acest caz se aplica metoda
verosimilitatii maxime.

Estimarea mediei si a functiei de covarianta

Consideram un proces X = fXt ; tg (slab) stationar de medie
autocovarianta (h) :
Fie (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) traiectoria observata.
Introducem urmatorii estimatori:

si functie de

b (X1 ; ::::Xn ) = X n =

1X
Xt
n t=1

n h

b (h) (X1 ; ::::Xn ) =

1X
Xt
n t=1

Xn

b (h) =

Propozitie

Xt+h

Xn ; 0

b (h)
b (0)

M Xn =
D2 X n = M X n
nD2 X n

1
X

h= 1

! 0 daca

(n) ! 0 pentru n ! 1

(h) pentru n ! 1, daca

1
X

h= 1

(h) j< 1

Demonstratie:
Nedeplasarea estimatorului X n este imediata.
nD2 X n =

n
X
1 X
cov (Xi ; Xj ) =
n i;j=1

jhj<n

21

jhj
n

(h)

jhj<n

(h) j

Daca

(n) ! 0 pentru n ! 1; atunci

0
1
X
1
lim @
j (h) jA = 2 lim j
n!1
n!1
n
jhj<n

deci

D2 X n

1 X
j
n

(h) j! 0:

jhj<n

Daca

1
X

h= 1

(h) j< 1; aplicand teorema de convergenta dominata obtinem

lim nD2 X n = lim

n!1

(n) j= 0

n!1
jhj<n

jhj
n

(h) =

1
X

(h)

h= 1

Comentariu:
Propozitia arata ca daca (n) ! 0 pentru n ! 1; atunci X n converge in
medie patratica (deci si in probabilitate) la :
1
X
j (h) j< 1 (conditie
Daca este indeplinita conditia mai puternica
h= 1

valabila pentru toate seriile temporale ARM A (p; q)), atunci

D2 X n '

1
1 X
n

(h)

h= 1

Propozitie
Daca procesul X = fXt ; tg este (slab) stationar si Gaussian, atunci
0
1
X
p
jhj
n Xn
N @0;
1
(h)A
n
jhj<n

Pe baza acestui ultim rezultat se pot construi intervale de incredere pentru

media si teste pentru ipoteza H : f = 0 g cu alternativa HA : f 6= 0 g;
daca functia de covarianta ( ) este cunoscuta.
Propozitie
Estimatorii b (0) ; b (1) ; :::; b (n 1) care pot construiti dintr-o traiectorie
observata (X1 ; :::; Xn ) sunt deplasati, iar matricea
0
1
b (0)
b (1)
::: b (n 1)
B
b (0)
::: b (n 2) C
b n = B b (1)
C
@
A
:::
:::
:::
:::
b (n 1) b (n 2) :::
b (0)
22

este semipozitiv denita.

Demonstratie:
Fie Yi = Xi X n ; i = 1; :::; n; si
0
0 ::: :::
B 0 ::: 0
B
T =@
::: ::: :::
0 Y1 Y2

e matricea (n
0
Y1
:::
:::

Y1
Y2
:::
Yn

Prin calcul direct se verica relatia

Atunci, 8a 2 Rn ;

Y2
:::
:::
0

2n) dimensionala
1
::: Yn
Yn 0 C
C
::: ::: A
::: 0

bn = 1 T T 0
n

1 0
0
(a T ) (a0 T )
0
n
Matricea de autocovarianta de selectie b n si matricea de autocorelatie de
bn = b n = b (0) sunt semipozitiv denite.
selectie R
a0 b n a =

Desigur, nu pot construiti estimatori pentru (h) cu h n dintr-o traiectorie observata (X1 ; :::; Xn ).
Se adopta ca estimator al functiei de autocovarianta
8
n jhj
>
< 1 X
Xt X n Xt+h X n ; j h j< n
n
b (h) =
>
t=1
:
0;
jhj n

Functia b (h) este semipozitiv denita, deci ea poate functia de autocovarianta a unui proces stationar.
=========================
Dar, functia de autocovarianta a unui proces stationar are urmatoarea proprietate:

Proprietate
Daca (0) > 0 si (h) ! 0 pentru h ! 1; atunci matricea n = k (i j)ki;j=1;:::;n
este nesingulara pentru orice n (lungime a traiectoriei observate)
Demonstratia se face prin absurd (Brockwell & Davis, propozitia 5.1.1., pag
167 - 168)
=========================
Aplicand acest rezultat, obtinem det b n > 0 daca b (0) > 0:

23

Estimarea parametrilor unei serii ARM A prin metoda momentelor

1) Pentru procesul AR(p)

Fie (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) traiectoria observata si e b (h) ; h =
0; 1; :::; p; respectiv b (h) ; h = 1; :::; p estimatiile valorilor functiilor de autocovarianta si de autocorelatie ale procesului.
Se inlocuiesc aceste estimatii in sistemul Yule-Walker si se rezolva sistemul
0
obtinut pentru necunoscutele 2 ; ( 1 ; :::; p ) :
(0) =

p
X

(i) +

(k

i=1

(k) =

p
X

i) ; i = 1; :::; p

i=1

Utilizand notatia
0

= ( 1 ; :::; p ) ;
= k (i j)ki;j=1;:::;p ;
0

= ( (1) ; :::; (p))

Rp = k (i

j)ki;j=1;:::;p =

(i

j)
(0)

i;j=1;:::;p

= ( (1) ; :::; (p))

sistemul Yule-Walker e scrie sub forma

2
p

(0)

Inlocuind estimatiile calculate din traiectoria observata, obtinem sistemul

2

a carui solutie este

bp

=b

c2 ; b1 ; :::; bp

= b (0)

Daca b (0) > 0; atunci matricea b p este nesingulara.

b = bp

c2 = b (0)

(b)

24

bp

b= R
bp

c2 = b (0) 1

(b)

bp
R

Atunci cand obiectivul nostru este de a adecva (tting) un model

AR unei serii temporale observate (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) ; ordinul
de dependenta p este, de regula, necunoscut.
Presupunem ca b (0) > 0:
n
2
Daca adecvam un model AR (m) cu m < n; vom estima parametrii (m)
; (m)1 ; :::;
cu ajutorul sistemului Yule - Walker, obtinand seria temporala
Xt = b(m)1 Xt

f t ; tg

+ ::: + b(m)m Xt

2
W N 0; d
(m)

Daca m este mai mare decat adevarata valoare p a ordinului de dependenta,

coecientul b(m)m este foarte mic.
Recomandare pentru tting AR
- Se estimeaza parametrii pentru un model AR(m); cu m crescator, m =
1; 2; ::::
- Se alege ca ordin de dependenta p cea mai mica valoare r pentru care
j b(m)m j< 1:96 n

1=2

pentru m > r

- Se adopta ca model al seriei temporale observate procesul AR cu m = p:

Algoritmul Durbin - Levinson de adecvare a unui model AR
Daca b (0) > 0; atunci modelele Xt = b(m)1 Xt 1 + ::: + b(m)m Xt m +
obtinute pentru m = 1; 2; :::; n 1 pot construite recursiv utilizand relatiile

b(1)1 = b (1) ;

2
d
2
(b (1)) ;
(1) = b (0) 1
0
1
m
1
X
1
b(m 1) j b (m j)A
b(m)m =
@b (m)
2
\
j=1
(m 1)
0
1
0
1
b(m 1)m 1
b(m)1
@
A = b(m 1) b(m)m @
A
:::
:::
b(m)m 1
b(m 1)1

d
2
2
\
(m) = (m 1) 1

b(m)m

Comentariu
In cazul seriilor AR (p) cu inovatii Gaussiene, estimarea indicelui de dependenta p se face prin alegerea modelului care minimizeaza creiteriul informational
Akaike (AIC).
25

(m)m

EXEMPLU
Seria temporala observata "Yearly Sunspot Data, 1700-1988"
sunspot.year package: datasets R Documentation
Yearly Sunspot Data, 1700-1988
Description: Yearly numbers of sunspots.
Usage: sunspot.year
Format: The univariate time series sunspot.yearcontains 289 observations,
and is of class "ts".
> library(utils)
> sunspot.year
Time Series:
Start = 1700
End = 1988
Frequency = 1
[1] 5.0 11.0 16.0 23.0 36.0 58.0 29.0 20.0 10.0 8.0 3.0 0.0
[13] 0.0 2.0 11.0 27.0 47.0 63.0 60.0 39.0 28.0 26.0 22.0 11.0
[25] 21.0 40.0 78.0 122.0 103.0 73.0 47.0 35.0 11.0 5.0 16.0 34.0
[37] 70.0 81.0 111.0 101.0 73.0 40.0 20.0 16.0 5.0 11.0 22.0 40.0
[49] 60.0 80.9 83.4 47.7 47.8 30.7 12.2 9.6 10.2 32.4 47.6 54.0
[61] 62.9 85.9 61.2 45.1 36.4 20.9 11.4 37.8 69.8 106.1 100.8 81.6
[73] 66.5 34.8 30.6 7.0 19.8 92.5 154.4 125.9 84.8 68.1 38.5 22.8
[85] 10.2 24.1 82.9 132.0 130.9 118.1 89.9 66.6 60.0 46.9 41.0 21.3
[97] 16.0 6.4 4.1 6.8 14.5 34.0 45.0 43.1 47.5 42.2 28.1 10.1
[109] 8.1 2.5 0.0 1.4 5.0 12.2 13.9 35.4 45.8 41.1 30.1 23.9
[121] 15.6 6.6 4.0 1.8 8.5 16.6 36.3 49.6 64.2 67.0 70.9 47.8
[133] 27.5 8.5 13.2 56.9 121.5 138.3 103.2 85.7 64.6 36.7 24.2 10.7
[145] 15.0 40.1 61.5 98.5 124.7 96.3 66.6 64.5 54.1 39.0 20.6 6.7
[157] 4.3 22.7 54.8 93.8 95.8 77.2 59.1 44.0 47.0 30.5 16.3 7.3
[169] 37.6 74.0 139.0 111.2 101.6 66.2 44.7 17.0 11.3 12.4 3.4 6.0
[181] 32.3 54.3 59.7 63.7 63.5 52.2 25.4 13.1 6.8 6.3 7.1 35.6
[193] 73.0 85.1 78.0 64.0 41.8 26.2 26.7 12.1 9.5 2.7 5.0 24.4
[205] 42.0 63.5 53.8 62.0 48.5 43.9 18.6 5.7 3.6 1.4 9.6 47.4
[217] 57.1 103.9 80.6 63.6 37.6 26.1 14.2 5.8 16.7 44.3 63.9 69.0
[229] 77.8 64.9 35.7 21.2 11.1 5.7 8.7 36.1 79.7 114.4 109.6 88.8
[241] 67.8 47.5 30.6 16.3 9.6 33.2 92.6 151.6 136.3 134.7 83.9 69.4
[253] 31.5 13.9 4.4 38.0 141.7 190.2 184.8 159.0 112.3 53.9 37.5 27.9
[265] 10.2 15.1 47.0 93.8 105.9 105.5 104.5 66.6 68.9 38.0 34.5 15.5
[277] 12.6 27.5 92.5 155.4 154.7 140.5 115.9 66.6 45.9 17.9 13.4 29.2
[289] 100.2
> plot(sunspot.year)

26

Estimarea parametrilor (rezolvarea sistemului Yule - Walker)

Functia arima
arima {stats}
R Documentation
ARIMA Modelling of Time Series
Description: Fit an ARIMA model to a univariate time series.
Usage:
arima(x, order = c(0, 0, 0), seasonal = list(order = c(0, 0, 0), period = NA),
xreg = NULL, include.mean = TRUE, transform.pars = TRUE, xed = NULL,
init = NULL, method = c("CSS-ML", "ML", "CSS"), n.cond, optim.control =
list(), kappa = 1e6)
> arima(sunspot.year, order = c(1, 0, 0))
Call:
arima(x = sunspot.year, order = c(1, 0, 0))
Coe cients:
ar1 intercept
0.8196 48.6986
s.e. 0.0337 7.2722
sigma^2 estimated as 513: log likelihood = -1312.36, aic = 2630.71
b(1)1 = 0:8196

> arima(sunspot.year, order = c(2, 0, 0))

Call:
arima(x = sunspot.year, order = c(2, 0, 0))
Coe cients:
ar1 ar2 intercept
1.3886 -0.6906 49.1283
s.e. 0.0434 0.0433 3.2222
sigma^2 estimated as 273.6: log likelihood = -1222.19, aic = 2452.38
b(2)2 = 0:6906
> arima(sunspot.year, order = c(3, 0, 0))
Call:
arima(x = sunspot.year, order = c(3, 0, 0))
Coe cients:
ar1 ar2 ar3 intercept
1.3124 -0.5370 -0.1106 49.1276
s.e. 0.0595 0.0933 0.0595 2.8889
sigma^2 estimated as 270.4: log likelihood = -1220.48, aic = 2450.95
b(3)3 = 0:1106
> arima(sunspot.year, order = c(4, 0, 0))
Call:
27

arima(x = sunspot.year, order = c(4, 0, 0))

Coe cients:
ar1 ar2 ar3 ar4 intercept
1.3198 -0.5038 -0.1931 0.0630 49.1297
s.e. 0.0598 0.0983 0.0982 0.0597 3.0746
sigma^2 estimated as 269.3: log likelihood = -1219.92, aic = 2451.84
b(4)4 = 0:0630
1:96 289 1=2 = 0:11529
Xt = 1:3198Xt

0:5038Xt

0:1931Xt

3:

+ 0:0630Xt

4:

+ 49:1297 +

Functia ar
(in ipoteza suplimentara de inovatii Gaussiene)
ar {stats}
R Documentation
Fit Autoregressive Models to Time Series
Description: Fit an autoregressive time series model to the data, by default
selecting the complexity by AIC.
Usage
ar(x, aic = TRUE, order.max = NULL, method=c("yule-walker", "burg",
"ols", "mle", "yw"), na.action, series, ...)
> sunspot.ar<-ar(sunspot.year)
> sunspot.ar
Call:
ar(x = sunspot.year)
Coe cients:
123456789
1.1305 -0.3524 -0.1745 0.1403 -0.1358 0.0963 -0.0556 0.0076 0.1941
Order selected 9, sigma^2 estimated as 267.5

28

2) Pentru procesul M A(q)

Fie (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) traiectoria observata si e b (h) ; h =
0; 1; :::; q; respectiv b (h) ; h = 1; :::; q estimatiile valorilor functiilor de autocovarianta si de autocorelatie ale procesului.
0
Avem de rezolvat sistemul cu necunoscutele f = ( 1 ; :::; q ) ; 2 g (aici q
este considerat precizat):
b (k) =

b (0) =

q
X

j j+k ;

k = 1; :::; q

j=0
2

1+

2
1

2
q

+ ::: +

Valorile se obtin iterativ. Cu conventia 0 = 0; algoritmul este urmatorul:

- Alegem valorile initiale 1 = ::: = q = 0
- Calculam
b (0)
c2 =
1 + 12 + ::: + q2

- Calculam bq ; bq

b b (in aceasta ordine)

1 ; :::; 2 ; 1

bj = b (j)
c2
j = q; q

1 j+1

1; :::; 2; 1

:::

q j q

Atunci cand obiectivul nostru este de a adecva (tting) un model

M A unei serii temporale observate (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) ; ordinul
de dependenta q este, de regula, necunoscut.
Presupunem ca b (0) > 0:
n
2
Daca adecvam un model M A (m) cu m < n; vom estima parametrii (m)
; (m)1 ; :::;
cu ajutorul procedeului iterativ descris mai sus, obtinand seria temporala
Xt =
f t ; tg

+ b(m)1

t 1

2
W N 0; d
(m)

+ ::: + b(m)m

t m

Recomandare pentru tting M A

- Se estimeaza parametrii pentru un model M A(m); cu m crescator, m =
1; 2; :::n 1
- Se alege ca ordin de dependenta q ca ind cel mai mic m pentru care
f b1 ; :::; bq g se stabilizeaza
- Pe de alta parte, alegerea lui q se poate face tinand cont de faptul ca
(k) = 0 pentru k > q: Exploram valorile b (k) ; k = 0; 1; 2; ::: si alegem q
pentru care b (k) ' 0 pentru k > q:
29

(m)m

Algoritmul inovatiilor de adecvare a unui model M A

Daca b (0) > 0; atunci modelele Xt = t + b(m)1 t 1 +:::+ b(m)m t m obtinute
pentru m = 1; 2; :::; n 1 pot construite recursiv utilizand urmatoarele relatii:
d
2
(0) = b (0)

Pentru m = 1; 2; :::
b(m)m

0
1 @
b (m
=
d
2

k
X1

k)

j=0

(k)

k = 0; 1; :::; m

1
k
X1

d
2
(m) = b (0)

b(m)m

b(m)m

j=0

2
j

b(k)k

d
2 A;
(j)

d
2

(j)

Exemplu (Brockwell & Davis)

Se considera 1000 de observatii asupra unei serii M A de medie zero, pentru
care se obtin valorile
b (0) = 7:5541; b (1) =

5:1241; b (2) = 1:3805

Plotarea functiei b (k) ; k = 1; 2; 3; :::sugereaza q = 2:

Aplicand algoritmul inovatiilor pentru tting, obtinem:
d
2
(0) = 7:7541

b(1)1 = b (1) =

0:67832

d
2
(1) = b (0)

b(1)1

d
2
(0) = 4:0785

b(2)2 = 1 b (2) = 0:18275

d
2
(0)

b(2)1 = 1 b (1)
d
2
(1)

d
2
(2) = b (0)

b(2)2

2
b(2)2 b(1)1 d
(0) =
2

d
2

(0)

30

b(2)1

1:0268
d
2
(1) = 3:002

3) Pentru procesul ARM A(p; q)

Fie (X1 ; ::::Xn ) (!) = (x1 ; :::; xn ) traiectoria observata si e b (h) ; h =
0; 1; :::; p + q; respectiv b (h) ; h = 1; :::; p + q estimatiile valorilor functiilor de
autocovarianta si de autocorelatie ale procesului.
Procedeul de estimare a parametrilor comporta trei etape:
Se estimeaza parametrii AR f
1; :::; q + 1; q + 2; :::; q + p

1 ; :::;

din valorile b (h) ; h = q

pg

b (q + 1) = 1 b (q) + 2 b (q 1) + ::: +
b (q + 2) = 1 b (q + 1) + 2 b (q) + ::: +
::::::::::::::::::::::::
b (q + p) = 1 b (q + p 1) + 2 b (q + p

p b (q
p b (q

p+

p + 1)
p + 2)

2) + ::: +

p b (q)

Folosind b = b1 ; :::; bp calculati, se ia in considerare procesul

Xt = b1 Xt

+ ::: + bp Xt

1 t 1

+ ::: +

q t q

pentru care se recalculeaza valorile functiei de autocovarianta, notate de

aceasta data cu
c (h) ; h = 0; 1; :::; q
Autocovariantele c (h) ; h = 0; 1; :::; q se utilizeaza in calculul iterativ al
estimatorilor b = b1 ; :::; bq si c2
c2 =

bj = c (j)
c2
j = q; q

1+

1 j+1

1; :::; 2; 1

31

c (0)
+ ::: +

2
1

:::

2
q

q j q

Estimarea parametrilor unei serii AR cu inovatii Gaussiene

prin metoda verosimiltatii maxime
1) EVM pentru procesul AR (1) cauzal Gaussian, de medie
Fie = f t ; t 2 N g un sir de variabile aleatoare independente, identic repartizate N 0; 2 si e 2 R; 2 ( 1; 1) :
2

X0

Xt =
=

f (x; ) = q
2

exp

2
2

f (x; y; ) = p

+ Xt

2 0

; ;

2 R;

t;

; x2R

; y2R
2
Pentru traiectoria observata (X0 ; X1 ; :::; Xn ) (!) = (x0 ; x1 ; :::; xn ) ; desitatea
de repartitie este
2

f (x0 ; x1 ; :::; xn ; )
(
1
1
=q
exp
2
2
21 2
2 1 2

exp

o
2 (0; 1)
)

2 ( 1; 1) ;

1
21

t2N

x0

(y

x)

n
Y

i=1

1
2

Functia de verosimilitate conditionata este

n
Y
1
1
p
exp
L (x1 ; :::; xn ; j x0 ) =
(xi
2
2
2
2
i=1
log L =

n
log (2 )
2

n
log
2

n
1 X
2

(xi

i=1

Sistemul de verosimilitate maxima

@ log L
@ log L
@ log L
=
=
=0
@
@
@ 2
se scrie sub forma

8
>
>
>
>
>
>
>
>
<
>
>
>
>
>
>
>
>
:

n +
n
X

xi

i=1

1
n

n
X

xi

i=1
n
X

n
X

x2i

i=1

(xi

i=1

32

=
1

n
X

xi

i=1
n
X

xi

1 xi

i=1

xi

2
1)

exp

xi

2
1)

xi

2
1)

(xi

xi

2
1)

EVM este
bn = bn ; bn ; c2 n

bn (x0 ; x1 ; :::; xn ) =

n
X

xi

i=1

!2

n
X

xi

i=1

n
X

x2i

n
X

i=1

n
bn (x0 ; x1 ; :::; xn ) =

n
X

xi

xi

n
X

xi

xi

i=1

n
X

1 xi

i=1

i=1

n
X

x2i

i=1

i=1

n
X

xi

bn

n
X

bn xi

xi

1 xi

i=1

!2

n
X

i=1

X
c2 n (x0 ; x1 ; :::; xn ) = 1
xi
n i=1

xi

i=1
!2

2
1

Teorema (Billingsley)
Notam estimatorul de verosimilitate maxima cu
bn (X0 ; :::; Xn ) = bn (X0 ; :::; Xn ) ; bn (X0 ; :::; Xn ) ; c2 n (X0 ; :::; Xn )

p
Vectorul aleator n bn (X0 ; :::; Xn )
1 la un vector aleator repartizat normal,

converge in repartitie pentru n !

N 3 : 0; I1 1 ( ) ;
unde I1 ( ) este matricea informationala Fisher asociata lantului Markov cu
densitatea de trecere f (x; y; ) ;
I1 ( ) = kiuv ( )ku;v=1;2;3
i11 ( ) = M

@ log f (X0 ; X1 ; )
@

i12 ( ) = i21 ( ) = M

@ log f (X0 ; X1 ; ) @ log f (X0 ; X1 ; )

@
@

i13 ( ) = i31 ( ) = M

@ log f (X0 ; X1 ; ) @ log f (X0 ; X1 ; )

@
@ 2

i22 ( ) = M

@ log f (X0 ; X1 ; )
@
33

@ log f (X0 ; X1 ; ) @ log f (X0 ; X1 ; )

@
@ 2

i23 ( ) = i32 ( ) = M

Prin calcul direct se arata ca

0
1 B
2 @

I1 ( ) =

@ log f (X0 ; X1 ; )
@ 2

i33 ( ) = M

1
2

+
0

1
4

1
C
A

Exemplicare a calculului:
1
log (2 )
2

log f (x0 ; x1 ; ) =

1
log
2

@ log f (x0 ; x1 ; )
1
= 2 (x1
@
@ log f (x0 ; x1 ; )
x0
= 2 (x1
@

1
4

X0

x0 )
x0 )

X0 )

X0 ) j X 0

X0
2

1
2

34

(X1
2

X0 (X1
=

X0 )

(X1

(X1

M
M

=M
1

i12 ( ) = M

(X1

=M

x0 )

i11 ( ) = M

(x1

X0 ) j X 0
=

1
2

X0 )
=

2) EVM pentru procesul AR (2) cauzal Gaussian, de medie zero

Fie = f t ; t 2 N g un sir de variabile aleatoare independente, identic repartizate N 0; 2 si e X = fXt ; t 2 N g un proces AR (2) cauzal
Xt =
=

1;

2;

1 Xt 1

2 Xt 2

< 1;

t;

t2N

< 1; 1 <

< 1;

2 (0; 1)

Procesul AR (2) cauzal, cu inovatii Gaussiene este un lant Markov de ordinul

2, cu
Q (x1 ; x2 ; ) = N 1 x2 + 2 x1 ; 2
=N

0
0

2;

(0)
(1)

(1)
(0)

Pentru traiectoria observata (X0 ; X1 ; :::; Xn ) (!) = (x0 ; x1 ; :::; xn ) ; functia

de verosimilitate conditionata este
L (x2 ; :::; xn ; j x0 ; x1 ) =
log L =

1
2

n
Y

i=2

log (2 )

1
2

log

exp

Sistemul de verosimilitate maxima

(xi

n
1 X
2

2
2 xi 2 )

1 xi 1

(xi

1 xi 1

2
2 xi 2 )

i=2

@ log L
@ log L
@ log L
=
=
=0
@ 1
@ 2
@ 2
se scrie sub forma
8
>
>
>
>
>
>
>
>
<

EVM este

>
>
>
>
>
>
>
>
:

n
X

i=2
n
X

x2i

1+

xi

i=2

xi

1 xi 2

i=2
2

n
X

1
n 1

n
X

1 xi

n
X

x2i

=
=

i=2

(xi

n
X
i=2
n
X

xi

1 xi

xi

2 xi

i=2

1 xi 1

2
2 xi 2 )

i=2

Pn
Pn
Pn
Pn
2
(
x
x
)
x
(
x
x
)
(
i
i
1
i
i
2
i
2
i=2
i=2
i=2
i=2 xi
c1 (x0 ; :::; xn ) =
Pn
P
P
2
n
n
2
2
( i=2 xi 1 xi 2 )
i=2 xi 1
i=2 xi 2
Pn
Pn
Pn
Pn
2
xi 2 )
( i=2 xi xi 1 ) ( i=2 xi
i=2 xi 1
c2 (x0 ; :::; xn ) = ( i=2 xiP
Pn
Pn
2
n
2
2
( i=2 xi 1 xi 2 )
i=2 xi 1
i=2 xi 2
c2 (x0 ; :::; xn ) =

n
X

1 i=2

35

xi

c1 xi

c2 xi

1 xi 2 )

1 xi 2 )