Filtrado Optimo

4o Ingeniera de Telecomunicacion
Tema 6: Filtrado Optimo y Filtrado Adaptativo
I. Santamara

Introduccion Filtro de Wiener
Alg. Maximo Descenso LMS Aplicaciones Extensiones
Indice
1
Introduccion
2 Filtro de Wiener
3
Algoritmo Maximo Descenso
4 LMS
5 Aplicaciones
6 Extensiones

Tema 6: Filtrado Optimo y Filtrado Adaptativo I. Santamara


Introduccion

Filtrado optimo (filtro de Wiener)
1 A partir de una entrada, x[n], consideramos el problema de como
un filtro FIR cuya salida se aproxime a una senal
disenar deseada,
d[n]
2 Hacemos un formulacion estocastica:
El objetivo es minimizar el

error cuadratico medio (MSE) entre la senal deseada y la salida
del filtro
3
El filtro optimo se calcula resolviendo las ecuaciones normales
son necesarios los estadsticos de segundo orden): solucion
(solo
bloque o batch
Filtrado adaptativo
1 Algoritmos que actualizan los coeficientes del filtro con cada nueva
de d[n] (operan muestra a muestra)
observacion
2 popular es el algoritmo Least Mean Square (LMS)
El mas
3
Permiten adaptarse a cambios en la estadstica de las senales

involucradas (e.g, senales no estacionarias)


Indice
1
Introduccion
2 Filtro de Wiener
3
4 LMS
5 Aplicaciones
6 Extensiones


Wiener became acquainted with Volterras The- also p

Filtro de Wiener ory of integral equations, Osgoods Theory of
functions, Lebesgues book on the theory of in-
the cu
sent fa
tegration, and Frchets treatise on the theory of
functionals. Wiener claims that For the first Mathe
time I began to have a really good understand-
During
Referencia Norbert Wiener (1894-1964)
ing of modern mathematics.
his mo
ematic
d [ n] a new
vented
+ Error The
some
e[n] honor
Entrada Brown
of ino
Salida form a
x[n] W ( z) y[n] some
though
ment
famou
pulted
Filtro de Wiener physic
posed
the ex
Los coeficientes del filtro W (z) se served
tion b
calculan para minimizar la tions.1
Bec
varianza (potencia) del error Newto
the nu
stein a
that th
Minimizar E (e[n])2
ian pa
That is
lows t
at each
of vie
throw
canno
tion an
tion; t
enter a
tion, th
The MIT Museum

of ligh
is the d


Filtro optimo
Referencia
d [ n]
+ Error
e[n]
Entrada
Salida
x[n] W ( z) y[n]
Consideramos un filtro FIR con M coeficientes

T
w = [w0 , w1 , . . . , wM 1 ]
W (z) = w0 + w1 z 1 + w2 z 2 + . . . + wM 1 z M +1
La salida del filtro es

x[n]
M 1
X x[n 1]
= w T xn

y[n] = wk x[nk] = w0 w1 ... wM 1 ...
k=0
x[n M + 1]


Donde hemos definido el vector M 1

T
xn = [x[n], x[n 1], . . . , x[n M + 1]]
que
Tenga en cuenta tambien
y[n] = wT xn = xTn w
de coste a minimizar es
La funcion
h 2 i
J(w) = E (e[n])2 = E d[n] wT xn

=
h 2 i
E (d[n])2 + wT xn 2(wT xn )d[n] = d2 +wT E xn xTn w2wT E [xn d[n]]

El termino E xn xTn es

x[n]
x[n 1]
E xn xTn = E

x[n] x[n 1] ... x[n M + 1]
...
x[n M + 1]


Es decir,
E xn xTn = Rx

que es la matriz de autocorrelacion de la entrada de

dimensiones M M

Por otra parte, el termino E [xn d[n]] es

x[n] rxd [0]
x[n 1]
d[n] = rxd [1] = p

E [xn d[n]] = E
... ...
x[n M + 1] rxd [M + 1]
que es el vector de dimensiones M 1 con la correlacion

de
cruzada entre la entrada y la salida deseada o senal
referencia
de coste
Funcion
J(w) = d2 + wT Rx w 2wT p


T
En el caso de un filtro con dos coeficientes w = [w0 , w1 ] la
de coste queda
funcion

rx [0] rx [1] w0 rxd [0]
d2 +

J(w0 , w1 ) = w0 w1 2 w0 w1 =
rx [1] rx [0] w1 rxd [1]
= d2 + w02 + w12 rx [0] + 2w0 w1 rx [1] 2w0 rxd [0] 2w1 rxd [1]

que es un paraboloide


del filtro optimo

Para calcular la solucion tomamos derivadas en
de coste e igualamos a cero
la funcion
J(w) = 2Rx w 2p = 0 = Rx w = p
nuevamente hay que resolver las ecuaciones normales

rx [0] rx [1] . . . rx [M 1] w0 rxd [0]
rx [1] rx [0] . . . rx [M 2]
w1
rxd [1]
. =

.. .. .. .. ..
..

. . . . .
rx [M 1] rx [M 2] ... rx [0] wM 1 rxd [M + 1]
Filtro de Wiener
wopt = R1
x p


Cual es el MSE mnimo? es decir, la potencia del error para el

filtro de Wiener
Recordemos que la funcion de coste es
Sustituyendo wopt = R1 anterior tenemos

x p en la funcion
Jmin = d2 + wopt
T T
Rx wopt 2wopt p
MSE min
Jmin = d2 wopt
T
p
de coste podemos reescribirla como

La funcion
T
J(w) = Jmin + (w wopt ) R (w wopt )


de ruido
Ejemplo: eliminacion
Referencia
d [ n]
+ Error
e[n]
Entrada
Salida
d [ n ] + r[ n ] W ( z) y[n]
Rx = Rd + Rn
T
p = rd [0] rd [1] . . . rd [M 1] = rd
1
w = (Rd + Rn ) rd
Cuando M , el filtro de Wiener en el dominio de la
frecuencia en este caso queda
Sd ()
W () =
Sd () + Sn ()


[n] sin(0 n + ) + r[n]

x= d [n] 2 cos(0 n + )
=
z 1
+
w0 w1
+
-
+ y[n]
es la autocorelacion
Cual de la entrada?
1 1
+ 2

2 2 cos(0 )
Rx = 1 1 2
2 cos(0 ) 2 +
es el vector de correlacion
Cual cruzada?

0
p=
sin(0 )


El filtro de Wiener es
wopt = R1
x p
1 2
12 cos(0 )

1 2 + 0
wopt =
1/4 + 4 + 2 1/4 cos(0 )2 21 cos(0 ) 1
2 +
2
sin(0 )


Principio de ortogonalidad

El filtro de Wiener se puede derivar, alternativamente, a traves
del principio de ortogonalidad
que minimiza el MSE es aquella en la que el error es

La solucion
ortogonal a las observaciones (entrada del filtro)
T
xn = [x[n], x[n 1], . . . , x[n M + 1]]
Principio de ortogonalidad
E [xn e[n]] = 0
E xn (d[n] xTn w) = 0

= Rx w = p


En resumen
Para derivar el filtro de Wiener necesitamos unicamente

conocer
estadsticos de segundo orden: autocorrelacion de la entrada y
correlacion cruzada entre la entrada y la salida deseada
lineal
El filtro extrae la parte de la entrada que tiene correlacion
con la salida deseada: si la salida esta incorrelada con la
entrada el filtro de Wiener es nulo
La senal de error resultante esta incorrelada con la entrada del
filtro


Indice
1
Introduccion
2 Filtro de Wiener
3
4 LMS
5 Aplicaciones
6 Extensiones



El algoritmo de maximo descenso
Antes de estudiar el principal algoritmo adaptativo (LMS) vamos
a plantear una forma iterativa de resolver las ecuaciones
normales

Esta tecnica
se conoce como el metodo
o algoritmo de maximo
descenso (steepest descent)
Recordemos otra vez que la funcion de coste a minimizar es
y su derivada (gradiente) con respecto a w es (eliminando el
factor de escala 2)
J(w) = Rx w p
particularizado en un punto w(n)
El gradiente de una funcion
de maximo
indica la direccion en ese
incremento de la funcion
punto
Una forma de minimizar la funcion de coste es moverse en la
contraria al gradiente
direccion



Maximo descenso
w(n + 1) = w(n) J(w) = w(n) + (p Rx w(n))
w(0)
J ( w) |w= w(0)
w(1)
J ( w) |w= w(1)
w(2)
J ( w) |w= w(2)
wopt


El tamano J(w) lo controlamos con

del paso en la direccion

el parametro

Finalmente, el algoritmo de maximo descenso se resumen en
los siguientes pasos
1 Inicializar el filtro w(0)
2 For n = 0, 1, . . .
w(n + 1) = w(n) + (p Rx w(n))

3 end
Fjese que el punto de convergencia satisface las ecuaciones
normales, es decir, w(n + 1) = w(n), cuando se cumple
Rx w(n) = p

y, por lo tanto, el algoritmo se detiene cuando alcanza la solucion
de Wiener
Para asegurar la convergencia hay que elegir un valor de

suficientemente pequeno


Convergencia

Convergencia del algoritmo de maximo descenso

El algoritmo de maximo de Wiener si el
descenso converge a la solucion

parametro del algoritmo cumple
2
0
max

donde max es el maximo autovalor de la matriz Rx
Autovalores y autovectores
Rx puede decomponerse (diagonalizarse)
La matriz de autocorrelacion
como
M
X
Rx = i qi qTi = QDQT
i=1
donde D = diag (1 , 2 , . . . , M ) es una matriz diagonal que contiene los

autovalores y Q es una matriz ortogonal (i.e., QT Q = I) que contiene los
autovectores
En Matlab los autovalores y autovectores se obtienen como : [Q,D]=eig(Rx);


Consideremos un problema en el que la matriz de

de la entrada es
autocorrelacion
2
2 r

R
Ejemplos de =
x convergencia
2 r 2
SEAL DE ENTRADA SEAL DE ENTRADA

BLANCA (r=0) MUY CORRELADA (r=0.9)
max 1 + r max 1 + r
= =1 = = 19
min 1 r min 1 r


BAJO ALTO
Convergencia lenta y suave Convergencia rpida y errtica


0.8
= 1 / max 0.4 w0 0.78

J (n)
0.2
r = 0.5 0
w1 0.76
0.74
0 10 20 30 0 10 20 30
0.6
0.86
w0 0.84
= 1.7 / max
0.4
0.82
0.2
w1 0.8
J (n)
r = 0.5 0 0.78
0.76
-0.2
0 10 20 30 0.74
0 10 20 30
1 0.24
= 1 / max 0.8
w0
0.23
0.6 0.22
J (n)
r = 0.9 0.4
0.2 w1 0.21
0.2
0
0 10 20 30 0.19
0 10 20 30
Iterations Iterations


Indice
1
Introduccion
2 Filtro de Wiener
3
4 LMS
5 Aplicaciones
6 Extensiones


El algoritmo LMS (Least Mean Square)

El algoritmo de maximo descenso es una forma iterativa de
resolver las ecuaciones normales (o un sistema cualquiera de
ecuaciones lineales), pero NO es un algoritmo adaptativo

Notese
que el algoritmo de maximo descenso requiere conocer
o estimar Rx y p para calcular el gradiente en un punto w(n)
J(w) = Rx w(n) p
J(w) = E xn xTn w(n) E [xn d[n]]

Como disponemos de xn
podemos estimar Rx y p cuando solo
y de d[n]?
J(w)
d = xn xTn w(n) xn d[n]

que puede interpretarse como una estima instantanea del
gradiente



El gradiente instantaneo puede reescribirse como
J(w)
d = xn y[n] xn d[n] = xn (y[n] d[n]) = e[n]xn
es decir, J(w)=-error
d dato
LMS
fundamental del LMS es, entonces
La ecuacion
w(n + 1) = w(n) + e[n]xn
Ventajas:

Nos precisa conocer los estadsticos de la senal

Permite seguir cambios en las senales involucradas (tracking)
implementacion y baja carga computacional (M + 1
Facil
multiplicaciones y M 1 sumas por cada iteracion del algoritmo en

el caso de senales reales)
Inconvenientes:
La estima del gradiente es ruidosa


Algoritmo LMS
Inicializar w(0)
For n = 0, . . .
e(n) = d(n) w(n)T xn
w(n + 1) = w(n) + e[n]xn
end
Convergencia del LMS

La convergencia del LMS ha de ser en media
lm E [w(n)] = wopt
n
restrictiva)
y en MSE (mas
lm E [J(n)] = Cte = J()

n
de convergencia en media y MSE es

La condicion
2
0<<
M x2



LMS vs. maximo descenso

En el metodo
de maximo descenso los coeficientes describen
de Wiener
una trayectoria (determinista) que acaba en la solucion
J (n)
J min Solucin
de Wiener
En el LMS describen un movimiento aleatorio alrededor de la
de Wiener
solucion
J (n)
J ()
J min


Ruido de desajuste
Debido a su convergencia ruidosa, el LMS siempre provoca un

MSE en exceso del mnimo dado por el filtro de Wiener
El exceso de MSE se mide mediante el denominado ruido de
desajuste, que se define como
J() Jmin
D=
Jmin
D
Se puede demostrar que (para un suficientemente pequeno)
viene dado por

D = M x2
2
es decir,
Para una velocidad de convergencia dada, el desajuste aumenta
con el numero
de coeficientes del filtro M
El desajuste es inversamente proporcional a la velocidad de
convergencia


200 simulaciones promediadas

1 simulacin
(Monte Carlo)
10
0 =0.075 0 =0.075
10
=0.025 =0.025
-2
10
E[J(n)]
J(n)
-2
10
-4
10
-4
10
-6
10
-6
0 100 200 300 400 500 10
0 100 200 300 400 500


Indice
1
Introduccion
2 Filtro de Wiener
3
4 LMS
5 Aplicaciones
6 Extensiones



Identificacion
Tenemos acceso a la entrada, x, y la salida, d, de un sistema

desconocido (planta) h
Usamos un filtro FIR w para identificar h
d [ n]
h
x[n] e[n] +

-
w
y[n]



Prediccion
e[n] +
x[n]
-
1
z w
y[n] = x[n]



Igualacion
Fase de entrenamiento
d [=
n] s[n d ]
z d
e[n] +
canal
r[n] ruido
igualador

s[n] -
x[n]
h w
smbolos y[n]
Modo guiado por decision (decision directed)
e[n] - +
r[n] ruido
canal igualador
s[n] x[n]
h w Decisor
smbolos y[n] s[n]



Cancelacion
x[=
n] s[n] + i[n]
Seal de inters
e[n] + s[n]

-
Seal de referencia
w
Correlada con i[n] e
incorrelada con s[n]


Indice
1
Introduccion
2 Filtro de Wiener
3
4 LMS
5 Aplicaciones
6 Extensiones


LMS complejo
En el caso de variables complejas tenemos
J(w) = E |e[n]|2 = E [e[n](e[n]) ] =

Y el gradiente se calcula con respecto a w

J(w) J(w)
Re(w0 ) + j Im(w 0)
J(w) J(w)
+ j Im(w

Re(w1 ) 1)

w J(w) =
..

.
J(w) J(w)
Re(wM 1 ) + j Im(wM 1 )
Por ejemplo
w w H x n = x n


Si definimos la salida del filtro como (producto escalar entre

vectores complejos)
M
X 1
y[n] = wH xn = wk x[n k]
k=0
del LMS queda

entonces la ecuacion
w(n + 1) = w(n) + e [n]xn
Si la salida del filtro se calcula como

M
X 1
T
y[n] = w xn = wk x[n k]
k=0
del LMS queda

entonces la ecuacion
w(n + 1) = w(n) + e[n]xn


LMS normalizado
del LMS convencional, el cambio en los pesos es
En la ecuacion
de entrada:
proporcional a la norma de la senal
w(n) = e[n]xn

Esto puede ser negativo para senales no estacionarias con un

gran margen dinamico
(e.g., voz); para este tipo de senales se
emplea a veces el LMS normalizado

w(n + 1) = w(n) + e[n]xn
||xn ||2
Se puede interpretar como un LMS con un paso de adaptacion

variable y dependiente de la energa de la senal de entrada:
(n) = ||xn ||2
Para evitar problemas de convergencia si la norma de la senal
de entrada se aproxima a cero se puede emplear

w(n + 1) = w(n) + e[n]xn
||xn ||2 +
siendo 0 < << 1


LMA (Least Mean Absolute)
En vez de minimizar el MSE (norma L2 del error), minimizamos

su valor absoluto (norma L1 )
J (w) = E [|e[n]|]
Empleando una estima ruidosa del gradiente (como en el LMS),

se obtiene el algoritmo LMA
w(n + 1) = w(n) + sgn(e[n])xn
cuantificada del LMS:

Se puede interpretar como una version
necesitamos 1 bit para el error
solo
Su mayor ventaja es la simplicidad computacional

Pero notese que es un algoritmo adaptativo no lineal, que no
converge al filtro de Wiener en media


Conclusiones
El filtro de Wiener es una de las herramientas fundamentales del

tratamiento estadstico de senales modelado,
(prediccion,
igualacion,
identificacion, ...)
Depende unicamente
de los estadsticos de segundo orden de la
senal de entrada y la senal
de referencia

Mediante el metodo de maximo descenso podemos obtener el
filtro de Wiener de manera iterativa, sin necesidad de invertir la
de la entrada
matrix de autocorrelacion
El principal algoritmo adaptativo es el LMS
Emplea una estima ruidosa del gradiente obtenida a partir de la
entrada y salida deseada del filtro en el instante n
Para una valor del paso de adaptacion suficientemente pequeno
converge en media al filtro de Wiener, pero siempre presenta un
exceso de MSE (ruido de desajuste)


Filtrado Optimo

Cargado por

Copyright:

Formatos disponibles

Filtrado Optimo

Cargado por

Información del documento

Descripción original:

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Filtrado Optimo

Cargado por

Copyright:

Formatos disponibles

4o Ingeniera de Telecomunicacion

Tema 6: Filtrado Optimo y Filtrado Adaptativo

Wiener became acquainted with Volterras The- also p

The MIT Museum

Consideramos un filtro FIR con M coeficientes

La salida del filtro es

Donde hemos definido el vector M 1

que es la matriz de autocorrelacion de la entrada de

que es el vector de dimensiones M 1 con la correlacion

del filtro optimo

nuevamente hay que resolver las ecuaciones normales

Cual es el MSE mnimo? es decir, la potencia del error para el

Sustituyendo wopt = R1 anterior tenemos

de coste podemos reescribirla como

[n] sin(0 n + ) + r[n]

que minimiza el MSE es aquella en la que el error es

Para derivar el filtro de Wiener necesitamos unicamente

El tamano J(w) lo controlamos con

w(n + 1) = w(n) + (p Rx w(n))

donde D = diag (1 , 2 , . . . , M ) es una matriz diagonal que contiene los

Consideremos un problema en el que la matriz de

SEAL DE ENTRADA SEAL DE ENTRADA

Convergencia lenta y suave Convergencia rpida y errtica

= 1 / max 0.4 w0 0.78

El algoritmo LMS (Least Mean Square)

J(w) = E xn xTn w(n) E [xn d[n]]

w(n + 1) = w(n) + e[n]xn

Convergencia del LMS

lm E [J(n)] = Cte = J()

de convergencia en media y MSE es

Debido a su convergencia ruidosa, el LMS siempre provoca un

200 simulaciones promediadas

Tenemos acceso a la entrada, x, y la salida, d, de un sistema

En el caso de variables complejas tenemos

J(w) = E |e[n]|2 = E [e[n](e[n]) ] =

Y el gradiente se calcula con respecto a w

Si definimos la salida del filtro como (producto escalar entre

del LMS queda

w(n + 1) = w(n) + e [n]xn

Si la salida del filtro se calcula como

del LMS queda

w(n + 1) = w(n) + e[n]xn

Se puede interpretar como un LMS con un paso de adaptacion

LMA (Least Mean Absolute)

En vez de minimizar el MSE (norma L2 del error), minimizamos

Empleando una estima ruidosa del gradiente (como en el LMS),

w(n + 1) = w(n) + sgn(e[n])xn

cuantificada del LMS:

El filtro de Wiener es una de las herramientas fundamentales del

También podría gustarte