Estimadores Lineales e Insesgados Optimos

Tratamiento Estadstico de Se
nales
Pablo Muse, Ernesto L
opez, Luis Di Martino
{pmuse,elopez,dimartino}@fing.edu.uy
Departamento de Procesamiento de Se
nales
Instituto de Ingeniera El
ectrica
Facultad de Ingeniera

Curso 2015

Repaso
Estimacion MVU general
I

Dos tecnicas para encontrar el MVU

I
I

Teorema de Cramer-Rao
Estadsticos suficientes y teorema de Rao-Blackwell-Lehmann-Scheffe

Ninguna de las dos tecnicas asegura encontrar el MVU

Estimacion MVU en modelos lineales

I

Si los datos pueden representarse con un modelo lineal,

x = H + w,

w N (0, 2 I)

siempre es posible encontrar el MVU y su varianza.

El estimador MVU es

La matriz de covarianza del

estimador es



1
= HT H 1 HT x

(1)
C = 2 HT H
(2)
Ademas, el estimador es eficiente ya que alcanza la CRLB.

Introduccion

Estimadores Lineales e Insesgados Optimos

(BLUE)
I

En la practica ocurre frecuentemente que aunque el estimador MVU

existe, no puede ser encontrado.
I
I

No se conoce la PDF o no se puede asumir un modelo de los datos.

No puede aplicarse CRLB o la teora de estadsiticos suficientes.

En estos casos es razonable recurrir a estimadores suboptimos

I

No se conoce la perdida de desempe

no del estimador porque no se
conoce la varianza del MVU.
El estimador puede ser empleado si cumple las especificaciones del
problema.

Una estrategia es restringir el estimador a ser lineal con los datos, y

buscar el estimador lineal insesgado y de varianza mnima:

Estimador Lineal e Insesgado Optimo

(BLUE) [Kay, 1993]

Un virtud del estimador BLUE es que solo se necesita conocer el

primer y segundo momento de la PDF, por lo que es apropiado en
aplicaciones practicas.

Estimador BLUE

Definicion
Se observa el conjunto de datos {x[0], x[1], . . . , x[N 1]} cuya PDF
p(x, ) depende del parametro desconocido que se quiere estimar.
I

El estimador BLUE se restringe a ser lineal con los datos,

=

N1
X

an x[n]

n=0
I

Definici
on del estimador BLUE: aquel que es insesgado y tiene
varianza mnima entre todos los estimadores lineales.

Hay que determinar los coeficientes an para que el estimador cumpla

la condici
on anterior.

Busqueda del BLUE

Para determinar el BLUE se impone que el estimador sea lineal e
insesgado y se determinan los coeficientes an que minimizan la varianza.
I

Estimador lineal
=

N1
X

an x[n] = aT x

(3)

n=0
I

Condici
on de insesgado
=
E ()

N1
X

an E (x[n]) = ,

n=0
I

Para satisfacer la condici

on de insesgado, E (x[n]) tiene que ser
lineal con el parametro desconocido ,
E (x[n]) = s[n],

con s[n] conocido.

(4)

Si esto no se cumple, es imposible satisfacer la condici

on de insesgado. Por ejemplo, si
PN1
E (x[n]) = cos , la condici
on de insesgado sera
n=0 an cos = . No existen coeficientes
an que cumplan esto para todo .

Busqueda del BLUE

I

La condici
on 4 significa que el BLUE solo es aplicable en el problema
de estimaci
on de la amplitud de se
nales conocidas en ruido,
x[n] = s[n] + w [n],

Se puede generalizar su uso a traves de transformaciones no lineales

de los datos.

Continuando con la condici

on de no sesgado,
N1
X

an E (x[n]) =

es decir,

n=0
N1
X

aT s = 1
an s[n] =

n=0
N1
X
n=0

con
T

an s[n] = 1

s = [s[0] s[1] . . . s[N 1]] .

Busqueda del BLUE

I

La varianza del estimador es


2 
= E E ()

var()

2 i
aT x E (aT x)
h

2 i
= E aT x aT E (x)
h

2 i
= E aT (x E (x))
h
i
T
= E aT (x E (x)) (x E (x)) a
=E

= aT Ca
I

Hay que encontrar a de forma de minimizar la varianza manteniendo

la condici
on de insesgado,
aopt = min aT Ca sujeto a
a

aT s = 1

Esto se resuelve con multiplicadores de Lagrange.

Busqueda del BLUE

I

El Lagrangiano es:

El gradiente respecto a
a es:
L(a, )
=0
Imponiendo
a
se tiene que:

Sustituyendo 5 en la
restricci
on, se encuentra el
multiplicador de Lagrange,

Sustituyendo el
multiplicador en 5, se
obtiene el a
optimo

L(a, ) = aT Ca + (aT s 1)
L(a, )
= 2Ca + s
a

a = C1 s
2

aT s = sT C1 s = 1
2

1
= = T 1
2
s C s
aopt =

C1 s
sT C1 s

(5)

Busqueda del BLUE

Estimador
lineal

Varianza del
estimador
lineal

= aT x

= aT Ca
var()

C1 s
sT C1 s

sT C1 E (x)
sT C1 s
T 1
s C s
= T 1
s C s
=

=
E ()

(6)

y su varianza es:
=
var()

aopt =

Usando 4 se deduce que el

BLUE es insesgado

El estimador BLUE es
entonces:
sT C1 x
= T 1
s C s

Coeficientes
del estimador
lineal optimo

1
(7)
sT C1 s

Observaci
on: Para determinar el BLUE solo se requiere conocer
I

s (media escalada)

C, la matriz de covarianza de x

es decir, los dos primeros momentos en lugar de la PDF completa.

Ejemplo I
Nivel de DC en ruido blanco
Se quiere estimar A a partir de las observaciones
x[n] = A + w [n]

n = 0, 1, . . . , N 1

donde w [n] es ruido blanco con varianza 2 y PDF no especificada.

I

En este caso, E (x[n]) = A s[n] = 1 n s = 1

La matriz de covarianza de x[n] es C = 2 I C1 =

1
I
2
Con la ecuacion 7, se obtiene
su varianza,

Usando la ecuaci
on 6, el
estimador BLUE es
1
1 PN1
1T 2 Ix
n=0 x[n]
1
2

=
var(A)
A =
=
1
1
N
1T 2 I1
1T 2 I1

2
N1
2
1 X
=
=
x[n] = x[n]
N
N n=0
La media muestral es el estimador BLUE independientemente de la PDF
de los datos

Ejemplo II
Nivel de DC en ruido no correlacionado
Se quiere estimar A a partir de las observaciones
n = 0, 1, . . . , N 1

x[n] = A + w [n]

donde w [n] es ruido no correlacionado var(w [n]) = n2 .

I

Como en el caso anterior, s = 1

La matriz de covarianza es ahora

C=

02
0
..
.

0
12
..
.

...
...
..
.

0
0
..
.

...

2
N1

C1

1
02

=
.
..

0
1
12
..
.
0

...

...

..

..
.
1

...

2
N1

Ejemplo II
Nivel de DC en ruido no correlacionado
I

El estimador BLUE es
N1
P

x[n]
n2
1 C x
A = T 1 = n=0
N1
P 1
1 C 1
2
n=0 n
T

con varianza
=
var()

1
1
= N1
P 1
1T C1 1
2
n=0 n

Observaciones
I

El estimador BLUE pesa mas fuertemente las muestras con menor

varianza de forma de igualar la contribuci
on del ruido de cada
muestra.

El estimador encontrado es identico al estimador MVU encontrado

en el caso de ruido gaussiano no correlacionado (Ejemplo II en
Modelos Lineales).

Extension a vector de parametros

Se quiere estimar el BLUE para el caso de un vector de p parametros,
T

= [1 2 . . . p ]
I

Para que el estimador sea lineal con los datos, se requiere

i =

N1
X

ain x[n] = aT
i x

i = 1, 2, . . . , p

n=0

donde ain son los coeficientes a estimar.

La condici
on en notaci
on matricial es
= Ax

con A matriz p N con filas aT

i

La condici
on de que el estimador sea insesgado es
E (i ) =

N1
X

ain E (x[n]) = i ,

i = 1, 2, . . . , p

n=0

que en notaci
on matricial es
= AE (x) =
E ()

(8)

Extension a vector de parametros

I

Analogamente al caso escalar, para satisfacer la condicion de no

sesgado (ecuaci
on 8), E (x) tiene que ser lineal con ,
E (x) = H,

con H matriz N p conocida.

(9)

Notar que en el caso escalar (p = 1), H = s.

I

Sustituyendo la ecuaci
on 9 en la 8 se obtiene la restriccion de no
sesgo,
AH = I
(10)

Denotando la fila i-esima de A como aT

esima de H
i y la columna j-
como hj ,
T
a1
aT

2
A= .
H = [h1 h1 . . . hp ]
..
aT
p
la ecuaci
on 10 de la restricci
on de no sesgo queda,
aT
i hj = ij

i = 1, 2, . . . , p; j = 1, 2, . . . , p.

Extension a vector de parametros

I

Realizando un razonamiento analogo al caso escalar, la varianza es


2 
h

2 i
T
var(i ) = E i E (i )
= E aT
= aT
i x E (ai x)
i Cai

Hay que encontrar A de forma de minimizar la varianza manteniendo

la condici
on de insesgado. Para encontrar la fila i-esima de A hay
que resolver
aiopt = min aT
i Cai
ai

sujeto a

aT
i hj = ij

i = 1, 2, . . . , p
j = 1, 2, . . . , p

Ahora hay p restricciones, y la funci

on de Lagrange queda,
Ji = aT
i Cai +

p
X

(i)

aT
i hj ij

j=1
I

y resolviendo [ejercicio], se obtienen los coeficientes optimos,

1

1 T 1
aiopt = C1 H HT C1 H
ei Aopt = HT C1 H
H C

Extension a vector de parametros

I

El estimador BLUE en el caso vectorial queda,

= Aopt x

1 T 1
= HT C1 H
H C x
con matriz de covarianza

1
C = HT C1 H

Observacion
I

El estimador BLUE es el mismo que el estimador MVU para el

modelo lineal general,
x = H + w,
Por que?

w N (0, C)

Extension a vector de parametros

Teorema de Gauss-Markov
Hip
otesis:
I

Los datos observados

tienen la forma del
modelo lineal general,

x = H + w
I

x: N 1 vector de observaciones
H: N p matriz de observaci
on
conocida, con N > p y rango p
: p 1 vector de par
ametros a
estimar
w: N 1 vector de ruido con PDF
arbitraria, media nula y covarianza C

Tesis:
El estimador BLUE de es


= HT C1 H 1 HT C1 x

y la varianza de i es
h

1 i
var(i ) = HT C1 H

ii

Ademas, la matriz de covarianza del

estimador es

1
C = HT C1 H

Consideraciones sobre la optimalidad del BLUE

Modelo lineal con ruido gaussiano
I

En el modelo lineal general con ruido gaussiano se encontro que el

estimador MVU es


= HT C1 H 1 HT C1 x

El estimador MVU es lineal en los datos

Restringir el estimador a ser lineal no conduce a un estimador

suboptimo, ya que el MVU pertenece a la clase de operadores
lineales.

Ejemplo: estimaci
on de nivel de DC en WGN. En ese caso, el MVU
es la media muestral
N1
1 X

= x =
x[n],
N n=0

lineal en los datos.

Si el modelo es lineal y los datos son gaussianos, el BLUE es
tambien el MVU

Consideraciones sobre la optimalidad del BLUE

Modelo lineal con ruido no gaussiano
I

Si el modelo es lineal pero los datos no son gaussianos, el estimador

MVU no es lineal con los datos.
Ejemplo: estimaci
on de la media de ruido blanco uniforme.
I

El MVU, encontrado mediante estadsticos suficientes es

N +1
MVU =
max x[n],
2N

no lineal en los datos.

Restringiendo el estimador a ser lineal, el BLUE es la media muestral
(Ejemplo I).
La varianza de los estimadores es (x[n] U (0, ))

var(MVU ) =

2
4N(N + 2)

var(BLUE ) =

2
12N

Si el modelo es lineal y los datos no son gaussianos, el BLUE es

sub
optimo

Consideraciones sobre la optimalidad del BLUE

Nivel de DC en WGN.
El BLUE es o
ptimo.

Media en ruido
uniforme. El BLUE es
sub
optimo.

Si el MVU pertenece a la clase de estimadores lineales, no se pierde

desempe
no con el BLUE.
Si el MVU pertenece a la clase de estimadores no lineales, hay
perdida de desmpe
no, la cual puede ser significativa.

Ejemplo III: Transformacion de los datos

Estimacion de la varianza de WGN
Se tienen las observaciones
x[n] N (0, 2 )

n = 0, 1, . . . , N 1

y se quiere estimar 2 .
I Empleando Cramer-Rao, se puede demostrar que el MVU es
N1
1 X 2
Adem
as, es eficiente (ejercicio)
2 =
x [n]
N n=0
El MVU no es lineal con los datos
I

Si se intenta calcular el BLUE en este caso, se tiene que

2 =

N1
X
n=0

an x[n]

E (2 ) =

N1
X

an E (x[n]) = 0

n=0

El BLUE es totalmente inapropiado en este caso ya que ni siquiera

produce un estimador insesgado.

Ejemplo III: Transformacion de los datos

Estimacion de la varianza de WGN
I

Sin embargo, el BLUE puede calcularse a partir de los datos

transformados como y [n] = x 2 [n],
2 =

N1
X

an y [n] =

n=0
I

an x 2 [n]

n=0

La restricci
on de insesgado puede cumplirse, ya que
E (2 ) =

N1
X

an E (x 2 [n]) =

n=0
I

N1
X

N1
X

an 2 = 2

n=0

Teniendo en cuenta que E (x 2 [n]) = 2 , el modelo con los datos

transformados puede expresarse como


y [n] = x 2 [n] = E (x 2 [n]) + x 2 [n] E (x 2 [n])
| {z } |
{z
}
2

w [n]

Ejemplo III: Transformacion de los datos

Estimacion de la varianza de WGN
I

Ahora el modelo es
y [n] = 2 + w [n]
I

La transformaci
on de los datos hace que el problema se reduzca a la
estimaci
on de la amplitud de una se
nal en ruido.
Usando las ecuaciones 6 y 7 con s = 1, el estimador BLUE es
1T C1 y
2 = T 1
1 C 1

con w [n] = x 2 [n] 2

var(2 ) =

1
1T C1 1

Hay que calcular la matriz de covarianza C del ruido w [n].

Por construcci
on del modelo, la media de w [n] es nula,
E (w [n]) = E (x 2 [n]) 2 = 0

El elemento (i, j) de la matriz de covarianza es


E (w 2 [i])
i =j
Cij = E (w [i]w [j]) =
E (w [i])E (w [j]) = 0 i =
6 j

Ejemplo III: Transformacion de los datos

Estimacion de la varianza de WGN
I

La matriz de covarianza es diagonal,

Cii = E (w 2 [i])


2 
= E x 2 [n] 2
= E (x 4 [n]) 2 2 E (x 2 [n]) + E 2 (x 2 [n])
= 3 4 2 4 + 4
I

C = 2 4 I
C1 =

1
I
2 4

= 2 4
El estimador y su varianza es
1
1 PN1
N1
N1
Iy
y [n]
1 X
1 X 2
2 4 = 2 4 n=0
=
y [n] =
x [n]
1
N
N n=0
N n=0
1T 4 I1
2
2 4
4
1
2
var(2 ) =
=
1
N
1T 2 I1

2 =

1T

Referencias I

Kay, S. M. (1993).
Fundamentals of Statistical Signal Processing, Volume I: Estimation
Theory, chapter 6.
Prentice Hall, 1st edition.