Rectificador (xarxes neurals)

Gràfic de les funcions ReLU rectificador (blau) i GELU (verd) prop x = 0 = 0

En el context de les xarxes neuronals artificials, la funció d'activació rectificador o ReLU (Unitat lineal rectificada) és una funció d'activació definida com la part positiva del seu argument:

$f(x)=x^{+}=\max(0,x)$

on x és l'entrada a una neurona. Això es coneix com a la funció rampa i és anàleg a la rectificació de mitja ona en enginyeria elèctrica.

Aquesta funció d'activació va començar aparèixer en el context d'extracció de les característiques visuals a les xarxes neuronals jeràrquiques a finals de la dècada de 1960. Més tard es va argumentar que té fortes motivacions biològiques i justificacions matemàtiques. El 2011 es va trobar que permet una millor formació de les xarxes més profundes, en comparació amb les funcions d'activació àmpliament utilitzades abans de 2011, com per exemple, la logística sigmoide (que s'inspira en la teoria de probabilitat; vegeu regressió logística) i la seva homòloga més pràctica, la tangent hiperbòlica. El rectificador és, a partir de 2017, la funció d'activació més popular per a xarxes neuronals profundes.

Les unitats lineals rectificades tenen aplicacions en visió per ordinador i reconeixement de veu amb d'utilització de xarxes neuronals profundes i neurociència computacional.

Avantatges

• Activació dispersa: Per exemple, dins una xarxa inicialitzada a l'atzar, només s'activen un 50% de les unitats ocultes (té una sortida no nul·la).
• Propagació de gradient millor: Menys desapareixent problemes de gradient van comparar a sigmoidal funcions d'activació que satura en ambdues direccions.
• Millor propagació de gradients: Menys problemes de gradient de fuga en comparació amb funcions d'activació sigmoidal que s'aturen en ambdues direccions.
• Càlcul eficient: Només comparació, addició i multiplicació.
• Invariant d'escala: .$\max(0,ax)=a\max(0,x){\text{ for }}a\geq 0$

Les funcions d'activació rectificador es van utilitzar per separar l'excitació específica i la inhibició no específica en la piràmide d'abstracció neuronal, que es va entrenar de manera supervisada per aprendre diverses tasques de visió per ordinador. En 2011, l'ús del rectificador com a no linealitat es va demostrar que permet la formació de xarxes neuronals profundament supervisades sense necessitat de entrenament previ no supervisat. Les unitats lineals rectificades, en comparació amb la funció sigmoide o funcions d'activació similars, permeten una formació més ràpida i eficaç d'arquitectures neuronals profundes en conjunts de dades grans i complexos.

Problemes potencials

• No-diferenciable a zero; tanmateix, és diferenciable a qualsevol lloc més, i el valor del derivat al zero pot ser arbitràriament triat per ser 0 o 1.
• No zero-centrat.
• Desenfrenat.
• Morint ReLU problema: ReLU (Unitat Lineal Rectificada) de vegades es poden prémer les neurones a estats en el qual esdevenen inactius per eminentment tot entrades. En aquest estat, cap gradient flueix backward a través de la neurona, i així que la neurona esdevé enganxada dins un estat perpètuament inactiu i "mor". Això és una forma del desapareixent problema de gradient. En alguns casos, números grans de les neurones en una xarxa poden esdevenir enganxades en estats morts, eficaçment reduint la capacitat de model. Aquest problema típicament sorgeix quan el ritme de saber és posat massa alt. Pot ser mitigat per utilitzar leaky ReLUs en comptes d'això, els quals assignen un pendent de positiu petit per x < 0; tanmateix, l'actuació és reduïda.

Variants lineals

ReLU amb fuites

Les ReLU amb fuites permeten un gradient positiu petit quan la unitat no està activa.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\0.01x&{\text{otherwise}}.\end{cases}}$

Paramètric ReLU

Les reLUs paramètriques (PReLUs) porten aquesta idea més enllà fent el coeficient de fuita en un paràmetre que s'aprèn juntament amb altres paràmetres de xarxes neuronals.

$f(x)={\begin{cases}x&{\text{if }}x>0,\\ax&{\text{otherwise}}.\end{cases}}$

Tingueu en compte que per a ≤ 1, això és equivalent a:

$f(x)=\max(x,ax)$

i així té una relació a "maxout" xarxes.

Error gaussià Unitat Lineal (GELU)

GELU és una aproximació plana al rectificador. Té un no monotónic “cop” quan x < 0, i serveix com activació per defecte per a models com BERT.

on Φ(x) és la funció de distribució acumulada de la distribució normal estàndard.

Aquesta funció d'activació s'il·lustra a la figura de l'inici d'aquest article.

SiLU

La SiLU (Unitat lineal sigmoide) o funció swish és una altra aproximació suau referenciada per primera vegada al document GELU.

$f(x)=x\cdot \operatorname {sigmoid} (x)$

on $\operatorname {sigmoid} (x)$és la funció sigmoide.

Softplus

Una aproximació plana del rectificador és la funció analítica

$f(x)=\ln(1+e^{x}),$

que s'anomena funció softplus o SmoothReLU. Per a nombres grans negatius a $x$ està per sobre de $e^{x}$ és just per sobre de 0, mentre que per a nombres grans positius a $x$ sobre $x+e^{-x}$ és just per sobre de $x$.

Es poden incloure un paràmetre de nitidesa $k$:

$f(x)={\frac {\ln \left(1+e^{kx}\right)}{k}}$

La derivada de softplus és la funció logística. Partint des de la versió paramètrica,

$f'(x)={\frac {e^{kx}}{1+e^{kx}}}={\frac {1}{1+e^{-kx}}}$

La funció sigmoide logística és una aproximació suau de la derivada del rectificador, la funció de pas de Heaviside.

La generalització multivariable de softplus d'una sola variable és el LogSumExp amb el primer argument establert a zero:

$\operatorname {LSE_{0}} ^{+}(x_{1},\dots ,x_{n}):=\operatorname {LSE} (0,x_{1},\dots ,x_{n})=\log \left(1+e^{x_{1}}+\cdots +e^{x_{n}}\right).$

La funció LogSumExp és

$\operatorname {LSE} (x_{1},\dots ,x_{n})=\log \left(e^{x_{1}}+\cdots +e^{x_{n}}\right),$

i el seu gradient és el softmax ; el softmax amb el primer argument posat a zero és la generalització multivariable de la funció logística. Tant LogSumExp com softmax s'utilitzen en l'aprenentatge automàtic.

ELU

Les unitats lineals exponencials intenten que les activacions mitjanes siguin més properes a zero, la qual cosa accelera l'aprenentatge. S'ha demostrat que les ELU poden obtenir una precisió de classificació més alta que les ReLU.

$f(x)={\begin{cases}x&{\text{si }}x>0,\\a\left(e^{x}-1\right)&{\text{en cas contrari}},\end{cases}}$

on $a$ és un hiper-paràmetre que cal ajustar, i $a\geq 0$ és una restricció.

L'ELU es pot veure com una versió suavitzada d'una ReLU desplaçada (SReLU), que té la forma $f(x)=\max(-a,x)$ donada la mateixa interpretació de $a$.

Mish

La funció de mish també es pot utilitzar com una aproximació suau del rectificador. Es defineix com:

$f(x)=x\tanh(\operatorname {softplus} (x))$

on $\tanh(x)$ és la tangent hiperbòlica i $\operatorname {softplus(x)}$ és la funció softplus.

Vegeu també

• Funció sigmoide