Mostreig de Gibbs

Estadística bayesiana
Teoria
A priori A posteriori Eficiència bayesiana Probabilitat bayesiana Teorema de Bayes Regla de Bayes Factor de Bayes Inferència bayesiana Xarxa bayesiana Principi d'indiferència Principi de màxima entropia Mètode empíric bayesià Criteri d'informació bayesià Interval creïble Distribució a priori conjugada Distribució posterior predictiva Estimació màxima a posteriori Verosimilitud Regla de Cromwell Teorema de Bernstein–von Mises
Tècniques
Regressió lineal bayesiana Estimador bayesià Computació bayesiana aproximada

En estadístiques, el mostreig de Gibbs o un mostrejador de Gibbs és un algorisme de la cadena de Markov Monte Carlo (MCMC) per obtenir una seqüència d'observacions que s'aproximen a partir d'una distribució de probabilitat multivariant especificada, quan el mostreig directe és difícil. Aquesta seqüència es pot utilitzar per aproximar la distribució conjunta (per exemple, per generar un histograma de la distribució); per aproximar la distribució marginal d'una de les variables, o d'algun subconjunt de variables (per exemple, els paràmetres desconeguts o les variables latents); o per calcular una integral (com ara el valor esperat d'una de les variables). Normalment, algunes de les variables corresponen a observacions els valors de les quals es coneixen i, per tant, no cal que es mostren.

El mostreig de Gibbs s'utilitza habitualment com a mitjà d'inferència estadística, especialment inferència bayesiana. És un algorisme aleatori (és a dir, un algorisme que fa ús de nombres aleatoris) i és una alternativa als algorismes deterministes per a la inferència estadística com l' algoritme de maximització d'expectativa (EM).

Igual que amb altres algorismes MCMC, el mostreig de Gibbs genera una cadena de mostres de Markov, cadascuna de les quals està correlacionada amb mostres properes. Com a resultat, s'ha de tenir cura si es volen mostres independents. En general, les mostres de l'inici de la cadena (el període de combustió ) poden no representar amb precisió la distribució desitjada i normalment es descarten.

Una descripció gràfica de l'algorisme de mostreig de Gibbs

Introducció

El mostreig de Gibbs rep el nom del físic Josiah Willard Gibbs, en referència a una analogia entre l'algorisme de mostreig i la física estadística. L'algoritme va ser descrit pels germans Stuart i Donald Geman el 1984, unes vuit dècades després de la mort de Gibbs, i es va popularitzar a la comunitat estadística per calcular la distribució de probabilitat marginal, especialment la distribució posterior.

En la seva versió bàsica, el mostreig de Gibbs és un cas especial de l'algorisme de Metropolis-Hastings. No obstant això, en les seves versions ampliades, es pot considerar un marc general per al mostreig d'un gran conjunt de variables mostrant cada variable (o, en alguns casos, cada grup de variables) al seu torn, i pot incorporar el Metròpolis– Algorisme de Hastings (o mètodes com ara el mostreig per porcions) per implementar un o més dels passos de mostreig.

Descripció esquemàtica de la igualtat d'informació associada amb el mostreig de Gibbs al pas i-è dins d'un cicle

El mostreig de Gibbs és aplicable quan la distribució conjunta no es coneix explícitament o és difícil de mostrejar directament, però la distribució condicional de cada variable és coneguda i és fàcil (o almenys, més fàcil) de mostrejar. L'algorisme de mostreig de Gibbs genera una instància a partir de la distribució de cada variable al seu torn, condicionada als valors actuals de les altres variables. Es pot demostrar que la seqüència de mostres constitueix una cadena de Markov, i la distribució estacionària d'aquesta cadena de Markov és només la distribució conjunta buscada.

El mostreig de Gibbs està especialment adaptat per al mostreig de la distribució posterior d'una xarxa bayesiana, ja que les xarxes bayesianes s'especifiquen normalment com una col·lecció de distribucions condicionals.

Implementació

El mostreig de Gibbs, en la seva encarnació bàsica, és un cas especial de l'algorisme de Metropolis–Hastings. El punt del mostreig de Gibbs és que donada una distribució multivariant, és més senzill mostrejar a partir d'una distribució condicional que marginar mitjançant la integració sobre una distribució conjunta. Suposem que volem obtenir $\left.k\right.$ mostres de $\mathbf {X} =(x_{1},\dots ,x_{n})$ d'una distribució conjunta $p(x_{1},\dots ,x_{n})$ . Denota la mostra i per $\mathbf {X} ^{(i)}=\left(x_{1}^{(i)},\dots ,x_{n}^{(i)}\right)$. Cal procedir de la següent manera:

1. Començar amb algun valor inicial $\mathbf {X} ^{(0)}$.
2. Buscar la següent mostra. S'aconsegueix aquesta següent mostra $\mathbf {X} ^{(i+1)}$. Ja que $\mathbf {X} ^{(i+1)}=\left(x_{1}^{(i+1)},x_{2}^{(i+1)},\dots ,x_{n}^{(i+1)}\right)$ és un vector, es mostra cada component del vector $x_{j}^{(i+1)}$, a partir de la distribució d'aquest component condicionada $\mathbf {X} ^{(i+1)}$ a la resta de components mostrats fins $x_{j-1}^{(i+1)}$. Però hi ha una tramba: es condiciona $\mathbf {X} ^{(i+1)}$ fins a $x_{j-1}^{(i+1)}$, i després condiciona $\mathbf {X} ^{(i)}$, a partir de $x_{j+1}^{(i)}$ fins a $x_{n}^{(i)}$. Per aconseguir-ho, es mostren els components per ordre, començant pel primer component. Més formalment, per mostrar, s'actualitza segons la distribució especificada per $p\left(x_{j}^{(i+1)}|x_{1}^{(i+1)},\dots ,x_{j-1}^{(i+1)},x_{j+1}^{(i)},\dots ,x_{n}^{(i)}\right)$. S'empra el valor que el component tenia a la mostra $(j+1)$, no el que tenia a la mostra $(i+1)$.
3. Repetir el pas anterior k vegades.