Artículo Conisoft
Artículo Conisoft
Artículo Conisoft
1
División de Estudios de Posgrado e Investigación
Tecnológico Nacional de México / Instituto Tecnológico de Orizaba
Orizaba, Ver., México
C4-1
RESUMEN
Las interfaces humano-computadora se basan principalmente en el modelo de
ventanas, punteros y ratones como paradigma dominante para la interacción con
las aplicaciones. El uso de gestos es una adición valiosa al repertorio de técnicas
de interacción humano-computadora, sin embargo, requieren tiempo para
desarrollarse mejor. Como toda nueva tecnología presenta nuevos desafíos,
entre los cuales se encuentra el contar con herramientas que soporten el
desarrollo de aplicaciones que incluyan este tipo de interacción. Esto conlleva a
la necesidad de desarrollar la infraestructura de soporte para el manejo de
interfaces a través de gestos. Por lo que se propone un prototipo para el manejo
de interfaces humano-computadora a través de gestos faciales, con la finalidad
de establecer una base que permita desarrollar a futuro una biblioteca que
permita a los desarrolladores desarrollar interfaces gestuales de manera fácil.
PALABRAS CLAVE
Interfaces-Humano-Computadora, Gestos faciales, Arquitectura.
ABSTRACT
Human-computer interfaces are mainly based in the window, pointer, mouse
model as a dominant paradigm for the interaction with applications. The use of
gestures is a valuable addition to the repertoire of human-computer interaction
techniques, however, they require time to develop better. Like every new
technology it presents new challenges, among the which it is to have tools that
support the development of applications that include this type of interaction. This
leads to the need of developing the support infrastructure for the managing of
interfaces through gestures. So it is proposed a prototype for the managing of
human-computer interfaces through facial gestures, with the purpose of
stablishing a base that will allow in the future the creation of a library that allows
developers to develop gestural interfaces in an easy way.
KEYWORDS
Human-Computer-Interface, Facial Gestures, Architecture.
C4-2
INTRODUCCIÓN
Hawkes et, al. [1] establecieron como propósito probar la confiabilidad y utilidad
de la diadema Emotiv EPOC para determinar si se debe utilizar en el campo
médico ya que se piensa que una Tecnología como ésta ayudará a aquellos que
sufren de parálisis debidas a enfermedades tales como la ALS (Esclerosis lateral
amiotrofia), ya que la enfermedad no tiene cura es importante una solución que
ayude a mejorar las necesidades médicas. Para la solución se propuso
contemplar el uso de la diadema Emotiv EPOC, para el control de robot Finch
mediante expresiones faciales, se concluyó que la diadema Emotiv Epoc tuvo
éxito al ser conectada y controlar al robot Finch, pero con algunas fallas el
dispositivo reconoció los movimientos de las personas, así como también que la
diadema no es médicamente funcional o confiable.
Hornero et, al. [2] mencionaron la existencia de soluciones previas para ayuda
de la discapacidad utilizando TIC’S, a pesar de contar con soluciones existentes
sus costos son elevados, requieren de procesos de calibración por cada usuario,
lo que limita su usabilidad, por lo que su propuesta usa un acelerómetro
ADXL345, el microntrolador ATmega328A, el driver FTDI232RL, una placa de
circuito impreso, cinta elástica, Bluetooth (módulo RN41-XV), Labview para
desarrollar un módulo de modo Ratón y modo Teclado. El modo Ratón asocia
cada movimiento del usuario a las direcciones del ratón. El modo Teclado se
presenta en dos opciones de funcionamiento.
C4-3
En la primera se asocian cuatro movimientos escogidos con anterioridad por el
usuario y en la segunda opción, si el usuario presenta una mayor habilidad
motora, se asocian los diferentes movimientos que el usuario haya escogido.
Melodie Vidal et, al. [3] resaltaron la importancia de tomar en cuenta las
características de los ojos cuando se busca detectar si se sigue un objeto en
movimiento, sobre todo el hecho de que esta característica de la orientación de
objetos en movimiento es más difícil explotar que la orientación de objetos
estáticos, por lo que se necesita un método diferente a los anteriores. Su
propuesta usó una pantalla grande (89x50 cm, 1920x1080px) y un seguidor
ocular remoto Tobii X300. Se obtuvo como resultado final el método Pursuits y
tres aplicaciones interactivas.
Liang et, al. [4] resaltaron que es importante contar con una solución de
tecnologías de seguimiento de manos y reconocimiento de gestos para
simplificar las operaciones y proporcionar una interfaz intuitiva, en la que los
niños utilicen gestos con la mano para manipular marionetas virtuales para
realizar historias. Propusieron usar el controlador Leap Motion, el Leap Motion
SDK proporcionado por Leap Motion como dispositivo sensor HCI (Human-
Computer Interaction, Interaction Humano-Computadora) para rastrear gestos
con las manos, Leap Motion SDK como API (Application Programming Interface,
Interfaz de Programación de Aplicaciones) para acceder a los datos de
movimiento de las manos y los dedos del dispositivo, Maya 2014 para crear todos
los modelos y animaciones 3D y Unity3D Pro V4.2 para integrar y desarrollar
todo el sistema. La arquitectura del sistema se compone principalmente de tres
partes: entrada, control de movimiento y salida.
McAdam et, al. [5] discutieron la importancia que tiene el movimiento humano de
forma natural para resolver problemas complejos en la dinámica del movimiento;
por lo cual se indicó la importancia de representar un entorno virtual
multisensorial donde el espacio de fase 3D del problema sea asignado a un
sistema de coordenadas visuales en 3D, propusieron usar una computadora Dell
T3400 de doble núcleo a 3.00 GHz, un monitor de 120Hz de 22 pulgadas y una
pluma háptica Phantom Omni 6 grados de libertad para la entrada. La
visualización 3D se implementó utilizando Microsoft DirectX en Windows 7 con
renderización estereoscópica y efectos de sonido 3D para reforzar la posición y
el movimiento de la bola en el espacio, la bola en el espacio 3D representa el
estado actual del sistema. Como resultado final se obtiene la simulación de un
sistema de bastón de carga.
Hayashi et, al. [6] resaltaron las características de las interfaces naturales de
usuario resaltando la modalidad de gestos físicos. Los autores indicaron la
importancia de contar con un sistema que no requiera ninguna memorización, ya
que a pesar de existir trabajos anteriores la capacidad de recordar estos gestos
no está clara, por lo que su propuesta usa “Microsoft Kinect SDK 1.5”, Kinect,
Matlab, Weka. Macbook Pro con Intel Core i7 a 2,6 GHz. Se obtiene como
resultado final la identificación del usuario basada en el cuerpo: una nueva forma
de identificación del usuario basada en las longitudes del segmento del cuerpo y
un gesto de agitar la mano.
C4-4
Heijboer et, al. [7] resaltaron que el puntero de luz es un dispositivo adecuado
para estudiar la viabilidad de las interacciones periféricas con una interfaz
gestual. El objetivo de este experimento exploratorio fue rediseñar los estilos de
interacción del puntero de luz de tal manera que potencialmente podría
interactuar con la periferia de la atención. Por lo tanto, se exploró qué gestos y
qué tipo de comentarios serían los más adecuados para la interacción periférica.
El puntero de luz y una lámpara estuvieron controlados por un Phidget
Interfacekit1 que está conectado a un Apple iMac ejecutando el software Max /
MSP / Jitter.
Mehler et al. [9] resaltaron que cada vez más interfaces humano-computadora
(HCI) son diseñadas para incorporar medios de comunicación no verbal. La
escritura gestual se centra principalmente en el nivel perceptual de las
descripciones de las imágenes. WikiNect se propuso como un sistema que
permite autoría de hipertextos mediante escritura gestual. Para la propuesta se
usó la tecnología Kinect y como es un prototipo no se mencionó algún lenguaje
de programación, dividiendo su arquitectura en segmentación, vinculación,
descripción y calificación de imágenes. El resultado final fue el módulo de gestión
de sesión.
MARCO CONCEPTUAL
C4-5
1. Vista: Este componente presenta la interfaz gráfica la cual en este caso
es Java Swing, interfaz que será controlada por medio de gestos faciales.
2. Controlador: Este componente contiene la lógica necesaria para la
interacción entre el modelo y la vista, así como para manejar las
interacciones del usuario.
3. Modelo: Componente que contiene la definición de las funciones que
permitirán el control del apuntador de ratón a través de gestos faciales
como son sonrisa, guiño derecho, guiño izquierdo, mirada derecha y
mirada izquierda y se integran los flujos de datos al dispositivo y
proporciona acceso a la API del mismo.
C4-6
Para el desarrollo del prototipo se eligieron las siguientes tecnologías:
METODOLOGÍA
C4-7
En la Figura 2 se muestra la estructura de clases para el mapeo de los comandos
basándose en el patrón de diseño Adapter.
C4-8
Fig.3. Diagrama de clases de la implementación del prototipo.
Para la ejecución del programa es necesario humectar con una solución salina
las almohadillas que contienen los electrodos de la diadema Emotiv Epoc +.
C4-9
Fig. 4. Imagen del programa EmotivBCI, el cual muestra el estado de los
electrodos de la diadema Emotiv Epoc + y el estado de la batería.
Para iniciar el programa se debe realizar cualquier gesto, lo que producirá que el
apuntador del ratón aparezca en la pantalla, como muestra la Figura 6.
C4-10
Fig. 5. Pantalla de la implementación del programa de prueba del prototipo de la
capa de funciones gestuales.
C4-11
Como resultado del uso del prototipo se encontró que tuvieron un 90 % de
efectividad las interfaces gestuales que fueron configuradas en el prototipo ya
que en de diez veces que se probó su funcionamiento fallaron una vez al ser
solicitadas. Sin embargo, se presentan algunos problemas en el funcionamiento
ya que existe un desfase debido a los movimientos involuntarios de la cara,
porque algunas veces al realizar un gesto involuntariamente se activa otro que
no se quiere y algunas veces la reacción de la diadema se retrasa. También se
encontró que el cabello abundante dificulta el reconocimiento de los electrodos
de la diadema.
CONCLUSIONES
El desarrollo del prototipo para control del apuntador del ratón a través de gestos
faciales demostró que es factible el uso de la diadema Emotiv en una interfaz
gestual.
Se demostró que Java Swing es una tecnología la cual permite trabajar el uso
de interfaces diferentes al ratón y al teclado de la computadora. Igualmente se
demostró que el patrón de diseño adapter es útil para enlazar el api de la
diadema con las clases creadas en el prototipo; se demostró que trabajar con un
el patrón arquitectónico MVC promueve la independencia en el desarrollo de
componentes; por otra parte, se concluyó que la diadema Emotiv Epoc + es un
gran avance tecnológico para el uso de interfaces gestuales, pero aún no es del
todo precisa al obtener las señales de interfaces gestuales mediante Java.
AGRADECIMIENTOS
Este trabajo cuenta con apoyo por parte del Consejo Nacional de Ciencia y
Tecnología (CONACyT).
C4-12
REFERENCIAS
[6] E. Hayashi, M. Maas, Jason I. Hong,” Wave to Me: User Identification Using
Body Lengths and Natural Gestures”, CHI '14 Extended Abstracts on Human
Factors in Computing Systems (CHI EA '14), Toronto,2014, pp. 3453-3462.
C4-13
[12] “¿Por qué los desarrolladores de software eligen Java?” [Online]. Available:
https://www.java.com/es/about/ [Accessed: 04/Abril/2018].
NOTAS BIOGRÁFICAS
C4-14
Silvestre Gustavo Peláez Camarena, Ingeniero Industrial
en producción en el Instituto Tecnológico de Orizaba, maestro
en ciencias especialidad en cómputo estadístico en el Colegio
de Postgraduados de Chapingo y especialidad en Educación a
Distancia en la Universidad Veracruzana. Actualmente es
profesor-investigador de la División de Estudios de Posgrado e
Investigación del Instituto Tecnológico de Orizaba. Cuenta con
reconocimiento de Perfil Deseable ante PRODEP.
Publicaciones en congresos nacionales e internacionales y
revistas con arbitraje estricto. Es miembro del cuerpo
académico CADAIMIS reconocido por PRODEP como un
cuerpo académico en formación. Miembro de ACM. Ha dirigido
tesis a nivel maestría y proyectos de titulación a nivel
licenciatura.
C4-15