Matriu de covariància

En estadística i teoria de la probabilitat, la matriu de covariància és una matriu que conté la covariància entre els elements d'un vector. És la generalització natural a dimensions superiors del concepte de variància d'una variable aleatòria escalar.

Definició

Si les entrades del vector-columna

$X={\begin{bmatrix}X_{1}\\\vdots \\X_{n}\end{bmatrix}}$

són variables aleatòries, cadascuna amb variància finita, llavors la matriu de covariància Σ és la matriu l'entrada ( i , j ) és la covariància

$\Sigma _{ij}=\mathrm {I} {\begin{bmatrix}(X_{i}-\mu _{i})(X_{j}-\mu _{j})\end{bmatrix}}$

on

$\mathrm {M} _{i}=\mathrm {I} (X_{i})\,$

és el valor esperat de l'entrada i -èsima del vector X . En altres paraules, tenim

$\Sigma ={\begin{bmatrix}\mathrm {E} [(X_{1}-\mu _{1})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]\\\\\mathrm {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{2}-\mu _{2})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]\\\\\vdots &\vdots &\ddots &\vdots \\\\\mathrm {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]&\mathrm {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]&\cdots &\mathrm {E} [(X_{n}-\mu _{n})(X_{n}-\mu _{n})]\end{bmatrix}}.$

Com una generalització de la variància

L'anterior definició és equivalent a la igualtat matricial

$\Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]$

Per tant, s'entén que això generalitza a majors dimensions el concepte de variància d'una variable aleatòria escalar X , definida com

$\Sigma ^{2}=\mathrm {var} (X)=\mathrm {I} [(X-\mu )^{2}],\,$

on

$\mathrm {M} =\mathrm {I} (X).\,$

Propietats

Per $\Sigma =\mathrm {I} \left[\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)\left({\textbf {X}}-\mathrm {I} [{\textbf {X}}]\right)^{\top }\right]$ i $\mu =\mathrm {I} ({\textbf {X}})$, les següents propietats fonamentals es demostren correctes:

1. $\Sigma =\mathrm {I} (\mathbf {XX^{\top }} )-\mathbf {\mu } \mathbf {\mu ^{\top }}$
2. $\mathbf {\Sigma }$ és semidefinida positiva
3. $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A^{\top }}$
4. $\operatorname {cov} (\mathbf {X} ,\mathbf {I} )=\operatorname {cov} (\mathbf {I} ,\mathbf {X} )^{\top }$
5. $\operatorname {cov} (\mathbf {X_{1}} +\mathbf {x_{2}} ,\mathbf {I} )=\operatorname {cov} (\mathbf {X_{1}} ,\mathbf {I} )+\operatorname {cov} (\mathbf {x_{2}} ,\mathbf {I} )$
6. Si els vectors $\mathbf {X}$ i $\mathbf {I}$ són d'igual dimensió, llavors $\operatorname {var} (\mathbf {X} +\mathbf {I} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {I} )+\operatorname {cov} (\mathbf {I} ,\mathbf {X} )+\operatorname {var} (\mathbf {I} )$
7. $\operatorname {cov} (\mathbf {AX} ,\mathbf {BY} )=\mathbf {A} \,\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\,\mathbf {B} ^{\top }$
8. Si $\mathbf {X}$ i $\mathbf {I}$ són independents, llavors $\operatorname {cov} (\mathbf {X} ,\mathbf {I} )=0$

on $\mathbf {X} ,\mathbf {X_{1}}$ i $\mathbf {x_{2}}$ són vectors aleatoris de dimensió $\mathbf {(p\times 1)}$, $\mathbf {I}$ és un vector aleatori $\mathbf {(q\times 1)}$, $\mathbf {a}$ és $\mathbf {(p\times 1)}$, $\mathbf {A}$ i $\mathbf {B}$ són matrius de $\mathbf {(p\times q)}$.

La matriu de covariància (encara que molt simple) és una eina molt útil en diversos camps. A partir d'ella es pot derivar una transformació lineal que pot de-correlacionar les dades o, des d'un altre punt de vista, trobar una base òptima per representar les dades de forma òptima (vegeu quocient de Rayleigh per la prova formal i altres propietats de les matrius de covariància). Això es diu anàlisi del component principal (PCA per les seves sigles en anglès) en estadística, i transformada de Karhunen-Loev a processament de la imatge.

Bibliografia addicional

• Covariance Matrix a MathWorld
• Van Kampen, N. G. Teoria processes in physics and chemistry . New York: North-Holland, 1981.