Redes Neuronales Artificiales

Redes Neuronales
Artificiales
Neurona
Recursos disponibles en
computadoras y cerebro humano
Redes Neuronales
Artificiales
Consisten en unidades de
procesamiento densa-mente
interconectadas , llamadas neuronas
por su similaridad funcional con las
neuronas biológicas. Las unidades de
procesamiento reciben, pro-cesan y
transmiten señales, tal como las
neuronas biológicas.
Composición de las redes neuronales
artificiales
Los nueve componentes principales del funcionamiento de las
Redes Neuronales Artificiales son:
1) Un conjunto de unidades de procesamiento (neuronas);

2) Un estado de activación (variable de estado);
3) Una función de salida para cada unidad;
4) Un conjunto de conexiones (patrón de conectividad);
5) Un conjunto de reglas de propagación para propagar las
señales de salida a través de la RNA.
6) Una regla de combinación;
7) Una regla de activación;
8) Una regla de modificación;
9) Un ambiente en el cual opera la RNA.
1. Conjunto de unidades de
procesamiento
Tres tipos de unidades:
•Unidades de entradas, reciben señales del ambiente

•Unidades de salida, transmiten las señales fuera de la RNA
•Unidades ocultas, sólo reciben señales de unidades que
pertenecen a la RNA.
2. Estado de activación
Magnitud de la variable de estado de la unidad

(por ej. 1 o 0)
Los valores de activación pueden ser discretos o

contínuos, y limitados o ilimitados.
3. Función de salida
La señal de salida de una unidad varía

con su activi-dad, de acuerdo con una
función de salida, general-mente una
función de saturación no lineal.
Diferentes funciones de salida
4. Conjunto de conexiones
Las unidades de procesamiento están

interconectadas. Con cada conexión se asocia
un peso conocido como peso de conexión o
peso sináptico. La magnitud de cada peso
representa la eficiencia con la cual la señal de
salida de una unidad es transmitida a la otra.
Según el signo del peso las señales entrantes
pueden ser excitatorias (+), inhibitorias(-), o
nulas (0).
5. Conjunto de reglas de
propagación
Una entrada en una unidad puede ser una

versión en escala de la señal de salida
recibida, pero también puede ser más
compleja si, por ej., el peso sináptico es
modulado por alguna señal de salida.
6. Regla de combinación
Necesaria para generar la entrada neta de

las señales de salida pesadas o moduladas
provistas por la regla de propagación.. En el
caso de una simple suma de estas señales, la
regla de combinación es del tipo simple; en
cualquier otro caso se nombrará como del
tipo complejo.
7. Regla de activación
Necesaria para combinar la señal de
entrada con el estado actual. La regla de
activación puede ser una ecuación
diferencial con respecto al tiempo, en el
caso contínuo, o una ecuación diferencia en
el caso discreto. Además la regla de
activación puede ser determinística o
estocástica. En este último caso, se incluye
una fuente de ruido para producir cierta
incertidumbre sobre el estado presente de
la unidad.
8. Regla de modificación
La modificación del funcionamiento de

una RNA en función del tiempo requiere
la modificación de patrones de
conectividad con el tiempo, usando
alguna regla de modificación.
9. Ambiente
Provee las señales a las unidades de

entrada. Las señales de entrada pueden
ser discretas o contínuas, constantes o
dependientes del tiempo, y determinís-
ticas o estocásticas.
Notación para la red neuronal(R & N)
Unidad neuronal
Unidades con función escalón
para la función activación
Pueden actuar como puertas lógicas, dados

los adecuados umbrales (t) y pesos (W).
Red hacia adelante de dos
capas
Perceptrones
Perceptrones: algoritmo de aprendizaje
Wij nuevo = Wij viejo + Wij
 2ji si j  oj

Wij = 
 0 en cualquier otro caso
ó Wij = (1 - j oj ) j i

ó Wij = (j - oj ) i
 Velocidad de aprendizaje
 j Salida esperada de j
i Entrada desde i
o Salida obtenida de j
Separación lineal en perceptrones
Separación lineal en tres dimensiones
Representación de la función minoría

Red de Hopfield
Asume lo siguiente:
• Las variables de estado son binarias o graduadas.
• Las funciones de salida usadas son tipo hard limiter o
sigmoidea.
• Las unidades de procesamiento estan ordenadas en una
capa: todas las unidades realizan entrada y salida. Las
conexiones dentro de la capa son recíprocas y simétricas;
las conexiones recibidas de entradas externas son
unidireccionales.
• La regla de propagación es del tipo simple.
• La regla de activación es discreta (red Hopf.binaria), o
contínua (red de Hopfield graduada). Las reglas de
propag. y de combinac. son del tipo simple.
• El aprendizaje se da en un shot, los pesos de conexión
son conocidos por el problema, no hay adaptación.
• Las entradas externas son invariantes con el tiempo, y
binarias o graduadas.
Perceptrón multicapa
Asume lo siguiente:
• Las variables de estado son graduadas.

• La función de salida usada es tipo sigmoidea.
• Las unidades de procesamiento estan ordenadas en dos o tres
capas. No hay conexiones dentro de una misma capa; las
conexiones entre capas son unidireccionales.
• La regla de propagación es del tipo simple.
• La regla de activación es discreta. La actualización es
síncrona dentro de cada capa y asíncrona de una capa a la
otra.
• El aprendizaje se da por minimización de una función
error, el algoritmo de aprendizaje por retropropagación. La
función error codifica información global. No hay adaptación.
• Las entradas externas son graduadas y constantes.
Red hacia adelante de dos capas
para el problema del restaurante
Algoritmo de retropropagación
Es utilizado para actualizar los pesos en una red multicapa.

Algoritmo de retropropagación
1. Inicializar los pesos a valores pequeños al azar.
2. Elegir un patrón y aplicarlo a la capa de entrada.
3. Propagar la señal hacia delante por la red.
4. Computar los deltas de la capa de salida.
5. Computar los deltas de las capas previas propagando el

error hacia atrás.
6. Actualizar todas las conexiones.
7. Volver al paso 2 y repetir con el patrón siguiente.

Superficie del error para la búsqueda de
gradiente descendiente en el espacio de
pesos
Máquina Boltzman
Asume lo siguiente:
• Las variables de estado son binarias.
•Las unidades de procesamiento estan ordenadas en capas.
• Las conexiones entre capas son recíprocas y simétricas.
• Las reglas de activación y de aprendizaje son estocásticas.
Ref. Ackley, 1985; Hinton y Sejnowski, 1986.

Operaciones básicas
•Asociación
- Autoasociación: los conjuntos de patrones de
entrada y de salida son idénticos
- Heteroasociación: los patrones de salida difieren
de los de entrada.
•Descubrimiento de regularidad.
Aplicable cuando la estrategia de aprendizaje es
no supervisada.
Aprendizaje supervisado
Los pesos de las conexiones se ajustan de manera
tal que se reduzcan las discrepancias entre la salida
real y la deseada, para todos los pares entrada/salida
del conjunto de entrenamiento.
Estructuras de representación
• Codificación de velocidad
- La información es representada por la actividad

de las unidades de procesamiento de la red: para
cada patrón de entrada corresponde un patrón de
actividad en la RNA.
• Codificación por grafo
- Las unidades de procesamiento corresponden a

nodos y las conexiones se corresponden con arcos.
- Los patrones de entrada y patrones de referencia
se representan como dos grafos separados.
Redes Neuronales de
retropropagación
Las neuronas artificiales reciben, procesan y

comunican actividades y debido a esto, sus
estados cambian con el tiempo. La red es
enfrentada a un patrón de entrada y, gracias a
enlaces que realimentan a la red, va actualizan-
do su estado.
Las redes neuronales artificiales analógicas
son usadas en la resolución de problemas de
optimización.

Redes Neuronales Artificiales

Cargado por

Copyright:

Formatos disponibles

Redes Neuronales Artificiales

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Redes Neuronales Artificiales

Cargado por

Copyright:

Formatos disponibles

Redes Neuronales

1) Un conjunto de unidades de procesamiento (neuronas);

Tres tipos de unidades:

•Unidades de entradas, reciben señales del ambiente

Magnitud de la variable de estado de la unidad

Los valores de activación pueden ser discretos o

La señal de salida de una unidad varía

Las unidades de procesamiento están

Una entrada en una unidad puede ser una

Necesaria para generar la entrada neta de

La modificación del funcionamiento de

Provee las señales a las unidades de

Pueden actuar como puertas lógicas, dados

 2ji si j  oj

ó Wij = (1 - j oj ) j i

Representación de la función minoría

• Las variables de estado son graduadas.

Es utilizado para actualizar los pesos en una red multicapa.

2. Elegir un patrón y aplicarlo a la capa de entrada.

3. Propagar la señal hacia delante por la red.

4. Computar los deltas de la capa de salida.

5. Computar los deltas de las capas previas propagando el

6. Actualizar todas las conexiones.

7. Volver al paso 2 y repetir con el patrón siguiente.

• Las variables de estado son binarias.

•Las unidades de procesamiento estan ordenadas en capas.

• Las conexiones entre capas son recíprocas y simétricas.

• Las reglas de activación y de aprendizaje son estocásticas.

Ref. Ackley, 1985; Hinton y Sejnowski, 1986.

- La información es representada por la actividad

• Codificación por grafo

- Las unidades de procesamiento corresponden a

Las neuronas artificiales reciben, procesan y

También podría gustarte