Descomposicin SVD

Luciano A. Perez

10 de septiembre de 2015

1. Introduccin
1.1. La Descomposicin
Sean n, m N, y sea A Cmn ; una descomposicin en valores singulares (o
SVD) de A es una factorizacin

A = UV (1)
donde:

U C
mm es unitaria (UU = U U = I)
V Cnn es unitaria

Rmn es diagonal (i j = 0, i 6= j)

los elementos diagonales de , i = ii son adems no negativos y estn en

orden decreciente, i.e. 1 2 ... p (donde p = min{m, n}). Estos i son
reales y se llaman valores singulares de la matriz A.
Ntese que no estamos pidiendo que m n ni tampoco que A sea de rango
completo (o sea puede ser r(A) < p). En la descomposcin, U y V son siempre
cuadradas, mientras que tiene la forma de A.
Las columnas de U, pensadas como vectores de Cm se conocen como vectores
singulares por izquierda de A, y las columnas de V como vectores singulares por
derecha.
En principio no parece trivial que toda matriz tenga una factorizacin de este
tipo (Sec.2). Lo que s es fcil ver es, dada la existencia de esta descomposicin
quines son U, V y .
Para ello notemos que si A = UV , entonces A = V U y haciendo el pro-
ducto AA :
I
z}|{
AA = U V V U = UU

de donde se obtiene, dado que U es unitaria:

1
 U AAU = (2)
Pero como es una matriz real de m n diagonal, entonces el producto es
una matriz diagonal de m m cuyas entradas diagonales son i2 en el mismo orden
que los de :

1 0 0
0 0
2
2 0 0
1 0 0 0 . 1

. .. 0 2 0
0 2 0 0
. .
2
...
= ..

.. .. .. ..
.
. . 0
. . m .
0 0 m 0 . .. .. .. 2
.. . m

.
0 0 0

Entonces hemos encontrado una diagonalizacin de la matriz AA , y los va-

lores singulares de A son las raices cuadradas los valores propios de AA (que es
hermitiana y semidefinida positiva).
Ntese que las columnas de U son autovectores de AA , puesto que si en 2 mul-
tiplicamos a izquierda por U tenemos, dado que UU = I y que es diagonal:

AAU = U
Es decir, si llamamos u j a las columnas de U, tenemos AA u j = 2j u j .
Esto nos da un mtodo para hallar la descomposicin SVD:

1. Dada A Cmn formamos la matriz AA

2. Resolvemos el problema de autovalores AA u = u. Esto siempre se puede

hacer porque AA es hermitiana.

p j ( j = 1, ..., m) que hallamos

Como adems es semidefinida positiva, los
son no negativos y podemos definir j = j .
Teniendo los j ordenados de manera decreciente armamos, con los corres-
pondientes vectores u j como columnas, la matriz U Cmm .

3. Ahora para obtener V simplemente resolvemos el sistema que se obtiene de

1 multiplicando a derecha por V , esto es AV = U.

Una observacin evidente que puede hacerse es qu hubiera pasado si desde un

principio, en lugar de multiplicar AA hubieramos hecho el producto en el orden
inverso, es decir A A.
Tenemos A A = V V o sea V A AV = . De manera que ahora el rol de
V es como el de U anteriormente y podramos enunciar otro mtodo para hallar
la descomposicin SVD de la matriz A.

2
 Figura 1: Efecto de matrices arbitrarias sobre la circunferencia unitaria

Ahora bien, si lo hacemos de esta forma, los valores singulares que vamos a
obtener son las raices de los autovalores de A A. Es fcil ver que los autovalores
distintos de cero de A A y de AA son los mismos. La diferencia que puede haber
entre el espectro de A A y de AA es que si una de las dos es de dimensin ms
grande, entonces vamos a tener al cero con mayor multiplicidad.
As que para definir no hay ambigedad: podemos buscar los autovalores de
A A o de AA y con ellos armamos una matriz diagonal del mismo tamao de A.

Por practicidad, conviene elegir A A o AA segn cual sea de menor tamao,

as el polinomio caracterstico es de menor grado.
Naturalmente, como las matrices U y V se armaron a partir de autovectores, no
gozan de la misma unicidad que . Lo que puede probarse (Sec.2) es que, si A es
cuadrada y los j son distintos, entonces los vectores singulares estn determinados
a menos de un signo (o sea un factor ei ). Si la matriz A es real resulta claro que
podemos elegir a U y V reales tambin.

1.2. Motivacin Geomtrica

La idea geomtrica de que debe existir una descomposicin de este tipo para
cualquier matriz parte de la observacin de que una matriz cualquiera transforma
circunferencias en elipses. En la Fig.1, por ejemplo, tomamos puntos de la circun-
ferencia unitaria y los transformamos por dos matrices elegidas al azar (de norma
no muy grande ni chica para que la escala del grfico permita visualizar el efecto),
comprobando efectivamente este hecho intuitivo.
No es trivial en principio probar este resultado intuitivo (o experimental si se
quiere) y justamente la idea que nos lleva a la SVD es aislar las direcciones de

3
los ejes principales de las elipses que obtenemos por una matriz A. Esta idea se
generaliza a dimensiones m, n arbitrarias. Ms detalles de esta idea en Trefethen y
Bau [2].

2. Existencia y Unicidad
Teorema 2.0.1 (Descomposicin SVD). Toda A Cmn tiene una descomposicin
en valores singulares del tipo 1. Los valores singulares estn determinados de ma-
nera nica. Si A es cuadrada y los j son distintos, las columnas de U y V son
nicas a menos del signo (i.e. un factor ei ).

Demostracin. Para probar la existencia empezamos por el valor singular ms gran-

de y hacemos induccin. Sea 1 = kAk2 y sean v1 Cn con kv1 k2 = 1, u1 Cn ,
ku1 k2 = 1 con Av1 = u1 (existen porque la norma se realiza).
Extendemos a bases ortonormales {v j } de Cn y {u j } de Cm y con dichos vec-
tores como columnas armamos las matrices U1 y V1 . Evidentemente resulta:

1 w
 

U1 AV1 = S =
0 B
donde el 0 es un vector columna de m 1 ceros, w un vector fila de dimensin
n 1, y B Cm1n1 . Consideremos la accin de S sobre el vector columna ( w1 )
y tomemos norma:

  2
1 w
     
1
12 + w w = 1 = (12 + w w)1/2 1

0 B w 2 w 2 w 2

luego kSk2 (12 + w w)1/2 . Como U1 y V1 son unitarias, sabemos que kSk2 =
kAk2 (si no resulta obvio, ver la Sec.4), de donde w = 0. Si n = 1 o m = 1 listo.
Si no, B describe la accin de A en el subespacio ortogonal a v1 . Por hiptesis
inductiva, B tiene descomposicin SVD, B = U2 2V2 , y con ella se verifica que:
   
1 0 1 0 1 0
A = U1 V1
0 U2 0 2 0 V2
y haciendo los productos se tiene la SVD de A.
Para la unicidad, si A es cuadrada y todos los valores singulares son distintos,
entonces A A y AA tienen todos sus autovalores distintos (si A no fuera cuadrada,
alguno de los dos productos va a tener el 0 como autovalor repetido). De manera
que los autoespacios correspondientes tienen dimensin 1. 

3. Ejemplo 1
Ejemplo 1: Encontrar la SVD de

4
  
3 2 2
A=
2 3 2

Formamos primero el producto:

  3 2  
3 2 2 17 8
AA = 2 3 =
2 3 2 8 17
2 2
La ecuacin caracterstica queda (17 )2 82 = 0, con soluciones 1 = 25 y
2 = 9, de manera que tenemos 1 = 5 y 2 = 3. Sabemos que tiene la misma
forma de A, y estos valores en la diagonal, as que:
 
5 0 0
=
0 3 0
Para obtener U encontramos los autovectores:
    
17 8 x x
=
8 17 y y
Para = 25 tenemos 17x + 8y = 25x de donde se tiene x = y y un vector
puede ser (1, 1). Para = 9 tenemos 17x + 8y = 9x de donde se tiene x = y y un
vector puede ser (1, 11). Para que la U nos quede unitaria, los dividimos por su
respectiva norma y tenemos:
1 1
!

U= 2 2
1 12
2
Ahora para obtenere V tenemos que resolver el sistema AV = U, que en este
caso queda:
    
1 1 1 5 0 0 1 5 3 0
AV = =
2 1 1 0 3 0 2 5 3 0
Es decir, las columnas del lado derecho son los u j multiplicados por el respec-
tivo j (o cero cuando se acabaron los u j ). Ahora vamos a resolver para obtener
los v j , observando antes dos cosas: dado que queremos una V unitaria, los v j tienen
que ser ortogonales y de norma 1.
Que son ortogonales sale solo; en este caso es claro porque son autovectores
de A A (hermitiana) de autovalores distintos (25,9,0). Ms abajo damos una justi-
ficacin ms general.
Que sean de norma unitaria lo vamos pidiendo cuando resolvemos cada sis-
tema, que en principio es compatible indeterminado. En este caso, por ejemplo,
tenemos que si llamamos v1 a la primer columna de V , debe cumplirse:

Av1 = 1 u1

5
 o sea:

  x 5
!
3 2 2 2
y =
2 3 2 5
z 2

que como sistema es:

(
3x + 2y + 2z = 5
2
2x + 3y 2z = 5
2

Sumando las dos ecuaciones tenemos x + y = 2 y entonceses fcil encontrar
una solucin que adems sea de norma unitaria, y es (x, y, z) = ( 2/2, 2/2, 0).
Para la segunda columna tenemos:
(
3x + 2y + 2z = 32
2x + 3y 2z = 32

Sumando tenemos x + y = 0, as que x = y y con esto x + 2z = 3/ 2 es decir
z = 23 2 2x . Adems por normalizacin tenemos x2 +y2 +z2 = 1 o sea 2x2 +z2 = 1.
Con ello nos queda que:

x 2 9 2 3 2
 
2 3 9
2x + = x x+ = 1
2 2 2 4 4 8

Esta ltima ecuacin tiene una raz doble x = 2/6 y con ello tenemos la
segunda columna de V :

2
62
6
2 2
3
El sistema que corresponde a la ltima columna es homogneo, as que ah nor-
malizar no es problema (encontramos cualquier solucin, dividimos por la norma y
sigue siendo solucin porque el sistema es homogneo). Por ejemplo (1, 1, 1/2)
que normalizado da (2/3, 2/3, 1/3).
As tenemos la V completa:

2 2 2
2 6 3
V = 22 62 23

2 2
0 3 31
Y el ejemplo se completa comprobando que efectivamente hemos encontrado
la descomposicin es decir que A = UV :

6

2 2
1 1
!  0  
2 2 5 0 0 22 2 3 2 2
62 2 2 =

1 12 0 3 0 2 3 2
6 3
2
2
3 23 13

Observacin sobre la obtencin de U y V : Retomemos el problema, por

ejemplo, de hallar V una vez que tenemos U.
A partir de la factorizacin A = UV que implica A = V U , podemos
multiplicar a derecha por U obteniendo AU = V (y de donde se puede
ver que para 1 j mn {m, n} se tiene la igualdad (recordar que es real)

A u j = j v j (3)

donde u j y v j son los vectores columnas de U y de V . De aqu se ve que, para

los j 6= 0 se tiene v j = 1j A u j (y es fcil ver que son ortonormales). Con
ello tenemos una forma de rpida de hallar dichas columnas de V dada U.
Si la matriz A es cuadrada (m = n) y de rango completo (todos los j 6= 0),
listo.
Pero queda la pregunta de qu hacer con los de j = 0 o con el caso en que
haya menos u j que v j (o sea m < n, como en nuestro ejemplo) o ms (m > n).
Para ver que pasa volvamos al sistema AV = U, pensando el caso m < n
como en nuestro ejemplo. Mirando como es :

1 0 0 0 0
0 2 0 0 0

.. .. . .
. . . 0 0
0 0 m 0 0

queda claro que, tanto si j = 0 o si j > m (o sea, se acabaron los u) se

tiene que Av j = 0 (el vector columna de ceros). O sea que los v j correspon-
dientes estn en el ncleo de A (v j Ker(A)).
Por otro lado, la igualdad 3 nos dice que los v j con j 6= 0 son una base de
la imagen de A (los u j son una base de Cm ). Por ltimo, es fcil ver que la
imgen de A y Ker(A) son complementos ortogonales en Cn .

Si hubiera habido ms u j de los necesarios (o sea m > n) est claro que no

puede haber ms de n que correspondan a j 6= 0 (por una cuestin de rango).
As que se hace igual, se obtienen los v j para los j 6= 0 y si faltan se buscan
en el ncleo de A.

Con todo ello tenemos una nueva versin del mtodo para hallar la SVD:

7
 1. Encontrar y U como antes.
2. Para los j 6= 0 encontrar los v j segn:

1
vj = A uj
j
3. Si ya tenemos todos los v j , listo. Si no, buscar una base ortonormal de
Ker(A) y unirla a los ya encontrados.

Naturalmente, si huberamos empezado por hallar la V , los papeles de A y A

se invierten: en el paso (2) tenemos u j = 1j Av j y en el ltimo llegado el caso
hay que buscar una base de Ker(A ).

Ntese que de esta forma prcticamente hemos vuelto a probar la existencia de

las SVD, y de hecho esta es la forma en que la prueba el muy buen libro de Rainer
Kress [1]; la demostracin que dimos ms arriba es la de Trefethen y Bau [2].

4. Aplicaciones y Otras Observaciones

1. Resolucin de Sistemas Lineales: Dado el sistema Ax = b tenemos que
UV x = b, y multiplicando cada miembro por U resulta y = b donde
hemos llamado y = V x y b = U b.
Pero el sistema y = b es de resolucin trivial porque es diagonal. Y para
obtener x basta observar que al ser V unitaria resulta V y = x, as que no hay
ms que multiplicar.

2. Compresin de Informacin: De manera muy informal (que ms abajo ha-

remos ms precisa en ciertos casos) las descomposicn SVD nos sirve para
comprimir informacin.
Esto se deriva de la intuicin geomtrica que le dimos: la matriz A transforma
una circunferencia en una elipse, lo cual pensado a partir de A = UV lo
interpretamos como: (i) primero una rotacin rgida o reflexin, dada por V ;
(ii) estiramientos dados por los coeficientes de ; (iii) otra transformacin
rgida dada por U.
Ahora, dado que los j tienen distinta magnitud, el efecto de A ser ma-
yor en las direcciones dadas por los de mayor valor, es decir los primeros
(1 , 2 , ...). Si nos quedamos slo con las direcciones donde A tiene mayor
efecto y tiramos las otras, entonces no se perder demasiada informacin,
pero habremos almacenado muchos menos datos.
En este sentido es posible usar la SVD para comprimir la informacin impl-
cita en una matriz y esto tiene aplicaciones en inteligencia artificial (aprendi-
zaje de diccionarios), compresin de imgenes (ej. 22 de la gua) y mnimos
cuadrados (ver ms abajo).

8
3. Relacin entre la SVD y kAk2 : Como U y V son unitarias, conservan la
norma 2, es decir, kUxk2 = kxk2 para cualquier x Cm y kV y k2 = kyk2
y Cn . Lo propio sucede naturalmente con las conjugadas hermitianas U
y V .

Esto implica entonces que, dada la descomposicin SVD, A = UV , resulte

kAk2 = kk2 . Para verlo, sea x con kxk2 = 1; tenemos kAxk2 = kUV xk2 =
kV xk2 kk2 kV xk2 = kk2 kxk2 = kk2 . De donde se sigue que kAk2
kk2 . Como a su vez U AV = se puede encontrar la otra desigualdad y
resulta kAk2 = kk2 .

Es fcil ver porpdefinicin que kk2 = 1 . Con ello se tiene probada la fr-
mula kAk2 = (A A) a partir de la descomposicin SVD y la igualdad
prctica kAk2 = 1

4. Cond2 (A) y SVD: sea A Cnn inversible. A partir de A = UV deduci-

mos A1 = V 1U y como en el apartado anterior, se ve que kA1 k2 =
k1 k2 = 1/n .
Con ello, resulta Cond2 (A) = 1 /n que tambin habamos visto de otras
formas.

5. Forma Reducida: la igualdad AV = U se puede interpretar como que A

toma los elementos de una base ortonormal (las columnas de V ) y los manda
a los generadores de la imagen de A que son los vectores columnas de U
estirados o contrados por los j correspondientes.
Si m > n (ms filas que columnas), al hacer el producto U se pierden las
ltimas columnas de U. Entonces, hubiera sido lo mismo quedarse con una
cuadrada (tirando las filas nulas) y una U Cmn (tirando las columnas
correspondientes). Esta es la forma reducida de la SVD y tambin podemos
pensar a la SVD a partir de completar aquella.

6. Aproximacin de rango bajo: la matriz (que tiene el mismo rango que A

ya que U y V son unitarias) se puede pensar como una suma de matrices de
rango 1:

0 0
1 0 .
.. . . .
mn {m,n}

= 0 2 =


.. .. . . 0 j 0
j=1
. . . .. .. .. ..

. . . .

Si nos quedamos con la suma de de estas matrices para rg(A) (o sea

tiramos las filas desde la + 1 en adelante) tendremos una matriz de rango
. Con ella tenemos una aproximacin de A con rango , dada muliplicando
por U a izquierda y por V a derecha:

9

A = j u j vj (4)
j=1

Existen otra muchas formas de aproximar A por matrices de menor rango,

por ejemplo, simplemente reemplazando filas de A por ceros, o haciendo lo
propio en la descomposicin QR, etc. De todas las posibles, la aproximacin
dada por 4 es la mejor, al menos en kk2 .

Teorema 4.0.1 (Aproximacin de rango Bajo). Sea r = rg(A) y sea 0 r

y sea A dada por 4. Entonces:

kA A k2 = nfmn kA Bk2
BC
rg(B)

Ntese que kA A k2 = +1 (entendido como 0 si = mn {m, n}).

Demostracin. Supongamos que existe una B con rg(B) y kA Bk2 <

+1 . Entonces para cada x Ker(B) se cumple:

kAxk2 = k(A B)xk2 k(A B)k2 kxk2 < +1 kxk2

Y sabemos que dim(ker(B)) = n. Por otro lado, como AV = U, entonces

Av j = j u j y entonces para j = 1, ..., + 1 tenemos kAv j k2 = k j u j k2 =
j +1 , o sea un subespacio de dimensin + 1 donde se tiene dicha
desigualdad. Por una cuestin de dimensin, este espacio y ker(B) tendran
que tener interseccin no nula, pero esto es absurdo. 
Con esta nocin de mejor aproximacin, podemos hacer un poco ms precisa
la idea de que la descomposicin SVD permite comprimir informacin.
Queda claro de la frmula dada en 4 que para j > las columnas u j y v j
no juegan ningn papel. Por lo tanto, podemos tiraralas y quedarnos con
matrices U Cm y V Cn , y el producto seguir igual, esto es A =
V .
U
Almacenando estas matrices en lugar de las anteriores habremos comprimido
la informacin. Por supuesto, si bien la aproximacin es la mejor de rango
en norma 2, cun buena sea depender del rango elegido ( y de la necesidad
del usuario de la informacin). Los ejercicios 21 y 22 de la prctica tratan
este tema.

7. Distancia a las matrices singulares: dada la forma de es bastante ob-

vio que si p = mn {m, n}, entonces p (o sea el valor singular ms chi-
co) cumple p = mnkxk2 =1 kxk2 . Pero como kxk2 = kAxk2 se tiene p =
mnkxk2 =1 kAxk2 .

10
 Ahora consideremos el caso de A Cnn y sea B cualquier matriz singular
del mismo tamao. Dado x de norma 1 en el ncleo de B (existe porque es
singular), tenemos n kAxk2 = kAx Bxk2 = k(A B)xk2 . Luego k(A
B)k2 n . Si n = 0 es obvio que el mnimo se realiza, tomando B = A. Si el
valor singular ms chico no es nulo, tomemos v un vector de norma unitaria
tal que kAvk2 = n y definamos u = (1/n )Av. La matriz A n uv sirve.

De manera que el valor singular ms pequeo nos da la distancia de A al

conjunto de matrices singulares. Tal vez de all viene el nombre de valores
singulares, habra que googlearlo.

5. Ejemplo 2
Ejemplo 2:

1. Encontrar para cada n N la SVD de

n 1 1 n
n 1 1 n
An =
1 1 1

1
1 1 1 1

2. Calcular k An k2 y Cond2 (An )

3. Probar que Cond (An ) con n

Para hallar la SVD nos conviene en este caso usar An An , ya que toma una
forma por bloques que la hace ms fcil de diagonalizar. Tenemos:

n 1 1 n n n 1 1
n 1 1 n 1 1 1 1
An An =

=
1 1 1 1 1 1 1 1
1 1 1 1 n n 1 1
2
2n + 2 2n2 + 2

0 0
2n2 + 2 2n2 + 2 0 0
= (5)
0 0 4 0
0 0 0 4

El polinomio caracterstico resulta (4 )2 (2n2 + 2 )2 (2n2 2)2

cuyas races son = 4n2 y 4, esta ltima es raz triple.

Si n = 1 son todos los autovalores iguales y AA es diagonal, as que U puede

ser la identidad y despejar V es trivial. Tomemos el caso n 2.

Ya tenemos (tomando raz a los autovalores y armando la diagonal) y es:

11

2n 0 0 0
0 2 0 0
=
0

0 2 0
0 0 0 2

Para hallar U empezamos con el autovalor 4n2 y nos queda el sistema:

(2n2 + 2)x + (2n2 + 2)y = 4n2 x
(2n2 + 2)x + (2n2 + 2)y = 4n2 y

4z = 4n2 z
4w = 4n2 w

De las ltimas 2, como n 2 se tiene z = w = 0 y sumando las dos primeras

concluimos que x = y, con lo cual tenemos un primer vector singular:

1

21
2
u1 =
0
0

Para = 4 si hacemos un sistema analogo al anterior, es claro que z y w

pueden ser cualquiera y que sumando de nuevo las dos primeras llegamos a
la conclusin x = y con lo cual podemos conseguir 3 vectores ortonormales:

1

0 0
12 0 0
u2 = u3 = u4 =
2

0 1 0
0 0 1

Ahora que ya tenemos U podemos hallar V por cualquiera de los mtodos

que mencionamos en el ejemplo obteniendo:

22 1 1

0
2 2
2
0 21 1

V = 2 2
2 1 1

0
2 2 2
2 1 1
2 0 2 2

Para el punto (ii) tenemos, segn hemos visto, kAn k2 = 1 = 2n y Cond2 (An ) =
1 /n = 2n/2 = n.

Para el punto (iii) se puede usar la desigualdad entre la Cond y la Cond2

que usamos en la prctica (ojo no confundir la n de An con la dimensin del

12
 espacio, que es lo que siempre me pasa a m) o tambin usando que dada
la descomposicin SVD A = UV si A es inversible entonces lo es y
A1 = V 1U , y escribiendo la matriz (o al menos una fila) es facil acotar
la norma infinito de A1 por abajo.

Referencias
[1] Kress, R., Numerical Analysis, Springer GTM 181, 1998.

[2] Trefethen, L. & Bau, D., Numerical Linear Algebra, SIAM, 1997.

[3] Stoer, J. & Bulirsch, R., Introduction to Numerical Analysis, Springer-Verlag,

1996.

13