Sistema de Visión Artificial de Reconocimiento

SISTEMA DE VISIN ARTIFICIAL PARA EL RECONOCIMIENTO Y MANIPULACIN DE
OBJETOS UTILIZANDO UN BRAZO ROBOT

Eddie Sobrado Malpartida
Seccin Electricidad y Electrnica, Pontificia Universidad Catlica del Per
Av. Universitaria No.1801, San Miguel Lima-32 PERU
y
Julio C. Tafur Sotelo
Seccin Electricidad y Electrnica, Pontificia Universidad Catlica del Per
Av. Universitaria No.1801, San Miguel Lima-32 PERU
RESUMEN
El presente trabajo implementa un sistema
robotico automatizado para el reconocimiento y
localizacin de piezas. El objetivo es implementar un
sistema que permita identificar piezas depositadas en
una mesa, para luego encontrar su localizacin exacta
y realizar una tarea de pick & place mediante un
manipulador de cinco grados de libertad, SCORBOT
ER-IX.
Para el clculo de la posicin, el sistema dispone de
un sistema de visin mquina, el cual a partir de la
imagen digitalizada determina las coordenadas de
posicin y orientacin en el plano imagen y
posteriormente las traslada a las coordenadas del
espacio de trabajo del robot.
El sistema fue implementado en el Laboratorio del
Centro de Tecnologas Avanzadas de Manufactura
(CETAM) de la Pontificia Universidad Catlica del
Per.
El reconocimiento del tipo de pieza sobre el rea de
trabajo se realiza mediante una Red Neuronal del tipo
Backpropagation.
Palabras clave: Visin artificial, robtica, redes
neuronales, identificacin, tiempo real.
1. INTRODUCCION
La manipulacin de objetos en lneas de ensamble
mediante robots es una tarea donde un gran conjunto
de diferentes tipos de objetos aparece en posicin y
orientacin arbitraria. En este caso el reconocimiento
satisfactorio depende esencialmente de las tcnicas
de reconocimiento de objetos confiables que se
empleen.
El brazo robot permite manipular piezas (tornillos,
desarmadores, tuercas, etc.) que se encuentran en una
mesa de trabajo. El problema se aborda mediante un
esquema de Visin Artificial [3] que consiste de 6
etapas: adquisicin de datos, preprocesamiento,
segmentacin,
extraccin
de
caractersticas,
clasificacin y manipulacin con el brazo robot.
La clasificacin se basa en el esquema neuronal.

Una vez reconocida una pieza determinada, se enva
una seal de mando al manipulador robtico para que
este lo recoja y lo ubique en una posicin
determinada previamente por el operador.
Los objetivos de este trabajo han sido desarrollar un
sistema de visin por computadora para dotar a una
estacin de trabajo robotizada del CETAM de
inteligencia con la finalidad de reconocer y
manipular objetos de orientacin y posicin
desconocida, y posteriormente incluir en el sistema
de control del robot la realimentacin visual. Adems
este proyecto inicial pretende abrir las puertas para
aplicaciones de visin a otras modalidades de la
robtica, por ejemplo robtica mvil.
2. SISTEMA DE VA IMPLEMENTADO
El objetivo del sistema de percepcin para el robot,
sobre la base de sensores de visin, es transformar la
imagen proporcionada por la cmara, en una
descripcin de los elementos presentes en el entorno
del robot. Dicha descripcin debe tener informacin
necesaria para que el robot efecte los movimientos
que permitirn la ejecucin de la tarea programada.
Para alcanzar estos objetivos, se deber elaborar las
siguientes funciones:
1. Iluminacin de la escena a capturar.
2. Captacin de la imagen del entorno significativo
del robot, conversin analgico/digital y
adquisicin por una computadora.
3. Mejoramiento de la imagen y realzado de las
caractersticas geomtricas relevantes desde el
punto de vista de la aplicacin.
4. Segmentacin de la imagen.
5. Descripcin de la imagen y/o extraccin de
caractersticas.
6. Reconocimiento de los objetos.
7. Elaboracin de las consignas para el sistema de
control del robot.
El diagrama de bloques del sistema implementado se
muestra en la Figura 1.
Sistema de Vision
5.
Software de
Reconocimiento
Descripcin y
Extraccin de
caractersticas
Segmentacin
Procesamiento
de la
Imagen
Adquisicin
de la
Imagen
Toma de
decisiones
Controlador del
Robot
+
Manipulador
Iluminacion
+
Escena
Camara
+
Frame Graber
6.
personal con un procesador Pentium III a 550

MHz.
Brazo manipulador: SCORBOT ER-IX, es el
elemento que permite manipular las piezas
deseadas.
Software: El programa de visin artificial para

reconocimiento de objetos se ha desarrollado en
Visual C.
La Figura 3 una vista de la estacin de trabajo.
Fig. 1. Diagrama de bloques del sistema de VA

implementado
3. COMPONENTES Y SOFTWARE UTILIZADO
La Figura 2 muestra un esquemtico del sistema de visin
artificial.
Fig. 3. Estacin Robotizada. Laboratorio del CETAMPUCP

4. ETAPAS DEL SISTEMA
Para cumplir los objetivos definidos, el sistema se ha
divido bsicamente en las siguientes etapas:
Adquisicin de la imagen
Fig. 2. Sistema de Visin Artificial

1.
2.
3.
4.
Sistema de iluminacin: consiste de un

fluorescente para iluminar la escena (objetos).
Cmara de vdeo: corresponde a una cmara de
vdeo analgica CCD estndar con formato
NTSC.
Frame grabber: es una tarjeta de adquisicin de
imgenes de propsitos generales. Este se usa
para obtener un "frame" o cuadro desde una
seal de vdeo, con el fin de generar una imagen
digitalizada, con una resolucin de 8 bits por
pxel (256 niveles de gris).
Computadora: para el desarrollo y ejecucin de
los programas se utiliz una computadora
El sistema que permite la captura y/o adquisicin de la

imagen, est formado por los siguientes elementos:
Cmara, digitalizador, iluminacin.
La iluminacin de la escena es crucial, antes de intentar
corregir un problema de iluminacin mediante el uso de
algoritmos complejos, es mejor implantar un sistema de
iluminacin adecuado para que la captura de la imagen
sea correcta. El tipo de iluminacin usada fue el de luz
direccional, empleando un tubo fluorescente.
Preprocesamiento de la imagen
Consiste en transformar la imagen original en otra
imagen en la cual se han eliminado los problemas de
ruido granular de cuantizacin o de iluminacin
espacialmente variable. La etapa de mejoramiento
consiste principalmente de las tcnicas siguientes:
1.
2.
3.
4.
Conversin a escala de grises

Segmentacin
Operaciones morfolgicas
Etiquetados
5.
Filtro de Tamao
El Preproceso hace que dada una imagen a color o en 256

niveles de gris debemos ser capaces de obtener una
imagen binaria, donde los puntos pertenecientes a la pieza
y los puntos del fondo se etiqueten con diferentes valores.
Segmentacin
El proceso de segmentacin se encarga de evaluar si cada
pxel de la imagen pertenece o no al objeto de inters.
Esta tcnica genera una imagen binaria, donde los pxeles
que pertenecen al objeto se representa con un uno,
mientras que los que no pertenecen al mismo se
representan con un cero.
Fig. 6. Ruido de binarizacin
Fig. 7.Objeto final a reconocer
Descripcin y extraccin de caractersticas
Fig. 4. Imagen capturada

En la Figura 5 se observa el histograma de la imagen de
la Figura 4, en la cual se ha realizado la segmentacin
mediante umbralizacin, as se discrimina la pieza del
fondo. En la Figura 6 se muestra la imagen binarizada
con cierto ruido de binarizacion, el cual es eliminada
mediante la etapa de preprocesamiento (erosin,
dilatacin, etiquetado y filtrado). Finalmente se obtiene
la pieza (objeto) lista para determinar sus caractersticas
en la etapa de descripcin, tal como se muestra en la
Figura 7.
Esta etapa permite obtener un modelo (descriptor) que

representa las caractersticas del objeto, que son
relevantes para los objetivos especficos del Sistema de
Visin Artificial [2].
Para el tipo de imgenes utilizadas en robtica, la
informacin relativa se encuentra en el contorno, ver
Figura 8. Entonces los modelos utilizados para describir
este tipo de imgenes representaran tan solo contornos
presentes en la imagen. Entre los ms usuales tenemos a
los cdigos de cadenas.
Fig. 8. Imagen binaria del tornillo
Fig. 5. Histograma y umbralizacin
Los descriptores deben ser independientes del tamao,

localizacin u orientacin del objeto, y deben ser
suficientes para discriminar objetos entre s.
El descriptor esta representado en un vector de
caractersticas que, representa de la mejor manera
posible al patrn original:
X = [x1
x2
.... x n ]
(1)
Especialmente, cuando se realiza el reconocimiento de

patrones utilizando redes neuronales, la extraccin de
caractersticas debe tratar de obtener un vector de
caractersticas con una dimensionalidad mucho menor a
la del patrn original, para que la cantidad de pesos que
deben de ser aprendidos sea menor, y adems, al tener
menos pesos, el tiempo de entrenamiento se puede
reducir considerablemente.
N 1 N 1
m p , q = x p y q I o ( x, y )
(4)
x =0 x =0
donde
I o ( x, y ) = 1 objeto
I o ( x, y ) = 0 resto
3) Momentos invariantes a traslaciones
1) Cdigo de Cadena
Una de las tcnicas usada en la extraccin de contornos
de imgenes, es la del seguimiento de contornos para su
codificacin [1]. Un algoritmo de seguimiento de
contornos examina todas las direcciones establecidas por
el cdigo de cadena, Figura 9.
3
Puesto que el centro de masas ( x , y ) ocupa siempre la

misma posicin relativa respecto a todos los puntos del
objeto, los momentos centrales no varan ante
traslaciones de los objetos.
As aplicando esta expresin se obtendra los siguientes

momentos centrales:
Fig. 9.Cdigo de cadena. (a)Vecindad de 4 (b)Vecindad

de 8
El cdigo de cadena, con una vecindad de 8, aplicado al
objeto de la Figura 8 da como codificacin:
[0 0 0 0 0 7 7 6 7 7 7 7 7 7 7 7 6 7 7 6 7 7 7 0 7 7 0 0 0 7
777766665555 45545545444444 3332
22221132333233323 3333233332222
1 1 1 1]
La teora de los momentos proporciona una alternativa

para la representacin de formas de objetos [5]. Si
tenemos un objeto en una regin que viene dado por los
puntos donde f(x,y) > 0, definimos el momento de orden
p,q como:

y q f ( x, y )dxdy
(2)
En este sentido, dada una funcin acotada f(x,y), existe un

conjunto de momentos generales con el cual se puede
reconstruir una funcin f(x,y) nica, simblicamente:
f ( x, y ) {m p , q } p,q = 0,1
u 00 = m00
u 01 = u10 = 0
m10 m01
m00
m2
u 20 = m20 10
m00
u11 = m11
m012
m00
3m m
2m 3
u 03 = m03 01 02 + 201
m00
m00
3m10 m20 2m103
u 30 = m30
+ 2
m00
m00
m m
2m m
2m 2 m
u 21 = m21 01 20 10 11 + 102 01
m00
m00
m00
m m
2m01 m11 2m012 m10
u12 = m12 10 02
+
m00
m00
m002
u 02 = m02
2) Momentos
(5)
m p,q =
N 1 N 1
u pq = ( x x ) p ( y y ) q I o ( x, y )
x =0 x =0
Los momentos generales se pueden hacer invariantes a

traslaciones en el plano si se hace referencia al centro de
gravedad (x,y), obtenindose los llamados momentos
centrales:
(3)
Es preciso pasar de una integral doble a una doble

sumatoria. Los momentos generales discretos de la
funcin Io(x,y) se calculan por:
(6)
(7)
(8)
(9)
(10)
(11)
(12)
(13)
(14)
4) Momentos Invariantes a Homotecias

Para momentos invariantes ante cambios del tamao
relativo de un objeto, suele emplearse la siguiente
normalizacin, en donde el momento central normalizado

de orden p+q se define como:
n pq =
donde
p+q+2
2
u pq
(15)
u 00
Los resultados de los momentos para una pieza (perno)

en diferentes posiciones se muestran en la Tabla 1.
para p+q =2,3.
(16)
5) Momentos invariantes a traslaciones, rotaciones

y homotecia
De los momentos de segundo y tercer orden, pueden
derivarse 7 de los llamados momentos invariantes, que no
dependen del tamao ni la posicin del objeto, los cuales
se pueden usar para la identificacin de los objetos. El
siguiente conjunto de momentos invariantes se puede
obtener usando nicamente los momentos centrales
normalizados de orden 2 y 3:
1 = n 20 + n 02
(17)
2 = ( n 20 n02 ) + 4n11
2
4 = ( n30 + 3n12 ) + ( n 21 + n03 )
(19)
(20)
5=
(n30 3n12 )(n30 + n12 )[(n30 + n12 ) 2 3(n21 + n03 ) 2 ]

+ (3n 21 n 03 )( n 21 + n 03 )[3( n30 + n12 ) 2 ( n 21 + n 03 ) 2 ]
(21)
6 =
(n 20 n 02 )[(n30 + n12 ) 2 (n 21 + n 03 ) 2 ] + 4n11 (n30 + n12 )(n 21 + n 03 )
(22)
7 =
(3n21 n03 )(n30 + n12 )[(n30 + n12 ) 2 3(n21 + n03 ) 2 ]

+ (3n12 n30 )(n 21 + n03 )[3(n30 + n12 ) 2 (n 21 + n 03 ) 2 ]
(23)
Este conjunto de momentos resulta ser invariante a la

traslacin, la rotacin y al cambio de escala.
6) Clculo de los momentos generales a partir del

cdigo de cadena
Se puede calcular los momentos generales, que estn
definidos mediante integrales dobles, como integrales
curvilneas extendidas sobre el contorno de un objeto, es
decir utilizando el cdigo de cadena que es una
aproximacin poligonal del contorno.
m pq = x p y q dxdy =
A
Tabla 1: Momentos para una pieza en posiciones

diferentes
Momentos
Invariantes
1
2
3
4
5
6
7
Posicin 1 Posicin 2 Posicin 3

0.3174
0.0609
0.0065
0.0023
0.0000
0.0006
-0.0000
0.3049
0.0569
0.0011
0.0012
0.0000
0.0003
0.0000
0.3167
0.0649
0.0049
0.0015
0.0000
0.0004
-0.0000
Fase de Reconocimiento
(18)
3 = ( n30 3n12 ) + (3n 21 n03 )

2
La integral curvilnea de la expresin puede calcularse en

funcin del cdigo de cadena del contorno del objeto.
1
x p y q +1 dx + x p +1 y q dy
p + q + 2 C
(24)
Se ha implementado una Red Neuronal Backpropagation,

esta red neuronal se entrena con un conjunto de vectores
caracterstico que se han almacenado en una base de
datos, donde se almacenan caractersticas de un objeto
determinado en diferentes posiciones y orientaciones.
Cuando el proceso de enseanza de la red termina
aceptablemente para cada patrn deseado, se puede
realizar una fase de clasificacin mostrando a la red las
categoras que se desea reconozca.
Toma de Decisiones y Comunicacin con el
controlador del Robot
Una vez que han sido reconocidos los objetos, el sistema
de VA calcula las consignas de movimiento que son
enviadas al controlador del robot [4]. La comunicacin
del robot con el sistema de visin artificial es mediante la
interfase serial RS-232.
1) Fase de calibracin:
Establece la correspondencia entre el sistema de
coordenadas del sistema visual y el espacio de trabajo del
robot.
2) Clculo de la posicin:
Se determina el centroide del objeto en coordenadas de la
imagen, y mediante la transformacin
establecida
durante la fase de calibracin, se derivan las coordenadas
fsicas del objeto.
El sistema de localizacin necesita:
a.
b.
c.
Posicin del rea de trabajo dentro de la imagen

capturada
Proporcin entre pxeles horizontales y milmetros
Proporcin entre pxeles verticales y milmetros
robotizada existente en el Laboratorio del CETAM.

Los resultados de este trabajo inicial en visin por
computadora permitir desarrollar aplicaciones ms
elaboradas como operaciones de ensamble de
circuitos impresos mediante robots.
En la Figura 10 se muestra la posicin de la mesa, el

robot y 3 bandejas donde se colocaran objetos del mismo
tipo
pieza1
pieza2
pieza3
mesa
robot
Fig. 10. Posiciones de los elementos que involucran

coordenadas
5. CONCLUSIONES
Los algoritmos de procesamiento de imgenes
utilizados han permitido tener una adecuada
descripcin e identificacin de caractersticas de los
objetos en tiempo real. Se ha podido realizar con xito
una tarea de pick & place de objetos previamente
identificados mediante un sistema de visin. Se ha
realizado con xito la integracin del sistema de
visin implementado con la celda de trabajo
9. REFERENCIAS
[1] Mo Dai, Pierre Baylou, An efficient algorithm for
computation of shape moments from chain codes ,
Univerisit de Bordeaux-France
[2] Royman Lpez Beltrn, Edgar Sotter Solano,
Operacin automtica de control de calidad
utilizando un sistema de visin
[3] J.M. Ibarra CINVESTAV-Mexico, Laboratorio de
Robtica y Produccin Automtica-Universidad del
Norte, III Jornadas Iberoamericanas de Robtica
[4] Eshed Robotec, Robot Vision PRO: users manual
ESHED ROBOTEC: 1995.
[5] K.S. Fu, R.C. Gonzlez; C.S.G. Lee. Robotics.
Control, Sensing, Vision, and Intelligence, New
York, McGraw-Hill, 1989
.

Sistema de Visión Artificial de Reconocimiento

Cargado por

Copyright:

Formatos disponibles

Sistema de Visión Artificial de Reconocimiento

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Sistema de Visión Artificial de Reconocimiento

Cargado por

Copyright:

Formatos disponibles

SISTEMA DE VISIN ARTIFICIAL PARA EL RECONOCIMIENTO Y MANIPULACIN DE

OBJETOS UTILIZANDO UN BRAZO ROBOT

La clasificacin se basa en el esquema neuronal.

personal con un procesador Pentium III a 550

Software: El programa de visin artificial para

La Figura 3 una vista de la estacin de trabajo.

Fig. 1. Diagrama de bloques del sistema de VA

Fig. 3. Estacin Robotizada. Laboratorio del CETAMPUCP

Fig. 2. Sistema de Visin Artificial

Sistema de iluminacin: consiste de un

El sistema que permite la captura y/o adquisicin de la

Conversin a escala de grises

El Preproceso hace que dada una imagen a color o en 256

Fig. 6. Ruido de binarizacin

Fig. 7.Objeto final a reconocer

Descripcin y extraccin de caractersticas

Fig. 4. Imagen capturada

Esta etapa permite obtener un modelo (descriptor) que

Fig. 8. Imagen binaria del tornillo

Fig. 5. Histograma y umbralizacin

Los descriptores deben ser independientes del tamao,

Especialmente, cuando se realiza el reconocimiento de

Puesto que el centro de masas ( x , y ) ocupa siempre la

As aplicando esta expresin se obtendra los siguientes

Fig. 9.Cdigo de cadena. (a)Vecindad de 4 (b)Vecindad

La teora de los momentos proporciona una alternativa

En este sentido, dada una funcin acotada f(x,y), existe un

Los momentos generales se pueden hacer invariantes a

Es preciso pasar de una integral doble a una doble

4) Momentos Invariantes a Homotecias

normalizacin, en donde el momento central normalizado

Los resultados de los momentos para una pieza (perno)

para p+q =2,3.

5) Momentos invariantes a traslaciones, rotaciones

4 = ( n30 + 3n12 ) + ( n 21 + n03 )

(n30 3n12 )(n30 + n12 )[(n30 + n12 ) 2 3(n21 + n03 ) 2 ]

(n 20 n 02 )[(n30 + n12 ) 2 (n 21 + n 03 ) 2 ] + 4n11 (n30 + n12 )(n 21 + n 03 )

(3n21 n03 )(n30 + n12 )[(n30 + n12 ) 2 3(n21 + n03 ) 2 ]

Este conjunto de momentos resulta ser invariante a la

6) Clculo de los momentos generales a partir del

Tabla 1: Momentos para una pieza en posiciones

Posicin 1 Posicin 2 Posicin 3

3 = ( n30 3n12 ) + (3n 21 n03 )

La integral curvilnea de la expresin puede calcularse en

Se ha implementado una Red Neuronal Backpropagation,

Posicin del rea de trabajo dentro de la imagen

robotizada existente en el Laboratorio del CETAM.

En la Figura 10 se muestra la posicin de la mesa, el

Fig. 10. Posiciones de los elementos que involucran

También podría gustarte