Anuario de Psicologa Clnica y de la Salud

Annuary of Clinical and Health Psychology

Departamento
de Personalidad,
Evaluacin y
Tratamiento
Psicolgicos

Ao 2012 Volumen 08 Pginas 41 a 46

Pictogram Room : Aplicacin de tecnologas de interaccin

natural para el desarrollo del nio con autismo

Gerardo Herrera, Xavier Casas, Javier Sevilla, Luis Rosa, Carlos Pardo, Javier Plaza
Universidad de Valencia
Rita Jordan
Universidad de Birmingham
Sylvain Le Groux
Universidad Pompeu Fabra

Resumen

El pictogram room es un conjunto de video juegos educativos para nios y adultos con trastorno del espectro del autismo
(TEA). Se han tenido en cuenta aspectos como la msica y el aprendizaje estructurado en el diseo de los juegos. Numerosos
estudios indican que el uso de estas estrategias mejora el resultado del aprendizaje en personas con TEA.
Para definir los objetivos educativos del proyecto han sido consideradas dificultades especficas de reas claves del desarrollo:
lenguaje corporal, atencin conjunta e imitacin.
Hemos usado el extenso conocimiento existente sobre la forma de proporcionar apoyos efectivos a estas personas, a travs de la
estructura visual y la msica, para crear una propuesta pedaggica dirigida a superar estas dificultades sacando partido de sus
puntos fuertes y de las nuevas tecnologas.
Palabras clave: Autismo, lenguaje corporal, tecnologa, realidad aumentada, juegos.
Recibido:21/11/2012Aceptado:18/12/2012
Introduccin

cacin verbal limitada (Braithwaite y Sigafoos, 1998), para

organizar y estructurar la informacin (Claussen y Thaut,
1997) y para fomentar las interacciones y las relaciones sociales (Ulfarsdottir y Erwin, 1999).

Numerosos estudios han evidenciado que el sentido visual

es el mejor preservado en los Trastornos del Espectro del Autismo (TEA) y que incluso conceptos que habitualmente no
evocan imgenes visuales, activan reas visuales supuestamente destinados al procesamiento visual de la corteza parietal y occipital en estas personas (Kana et al., 2006, Gaffrey et
al, 2007). En consonancia con estos hallazgos, diferentes trabajos apuntan que mayora de las personas con TEA son pensadores visuales en vez de verbales (Grandin, 1995; Jordan y
Riding, 1995) y los programas ms comunes de intervencin
en TEA, como el TEACCH (Mesibov y Howley 2010) y el
PECS (Frost y Bondy, 2002) utilizan sobre todo aprendizaje
mediado visualmente, si bien pueden ser adaptados a otras
modalidades sensoriales o complementados con ellas.

Las tecnologas de la informacin y las comunicaciones

(TIC) son cada vez ms usadas en la intervencin educativa de los TEA, contndose con herramientas multimedia y
de realidad virtual para el desarrollo de habilidades sociales
(Golan y Baron-Cohen, 2006; Parsons, Mitchell y Leonard,
2005) para el desarrollo del juego de ficcin (Herrera et al.,
2008) para el desarrollo de la comunicacin (Miller et al.,
2006), por citar tan slo algunos ejemplos. En una exploracin de los informes de padres, profesores, terapeutas e
investigadores Hart (2005) encontr una alta afinidad por
los ordenadores en los nios con autismo.

Por otra parte, varios estudios sealan la msica como un

buen complemento para los apoyos visuales y una herramienta eficaz para fomentar la atencin conjunta (Reitman,
2005), como refuerzo educativo (Standley, 1996), para fomentar conductas comunicativas (Edgerton, 1994), para el
desarrollo del lenguaje, los conceptos cognitivos, las habilidades motoras y la conducta en programas de intervencin
temprana (Standley y Hughes 1996), para aumentar el reconocimiento de palabras, identificacin de iconos, conceptos
dibujados, habilidades pre-verbales en intervencin temprana (Register, 2001), como facilitador y reforzador para
incrementar la respuesta verbal en nios con una comuni-

Actualmente, aunque es posible trabajar en otras modalidades sensoriales, la mayora de dispositivos y aplicaciones
de enseanza asistida por ordenador tienen su principal
componente en el canal visual y en el auditivo. Si consideramos los estudios citados anteriormente relacionados con
los apoyos visuales y con la msica, resulta evidente que utilizar tecnologas que combinen ambos factores puede suponer una importante oportunidad para proporcionar apoyos
efectivos.
La Realidad Aumentada, es un campo de investigacin
de las TIC, que desarrolla tecnologas que combinan la informacin que percibimos del mundo real con informacin
generada por ordenador, en tiempo real. Recibe este nombre por combinar informacin real con elementos grficos
aadidos. En un trabajo anterior (Herrera, Jordan y Gimeno, 2006), analizamos las ventajas e inconvenientes de esta
tecnologa en las personas que presentan TEA con y sin discapacidad intelectual.

Datos de contacto:
Javier Sevilla
Javier.Sevilla@uv.es
Instituto de Robtica C/Catedrtico Jos Beltrn 2
46980 Paterna (Valencia)
(+34) 963543573
- 41 -

Anuario de Psicologa Clnica y de la Salud

Annuary of Clinical and Health Psychology

Ao 2012 Volumen 8

Las tecnologas evolucionan muy rpidamente y desde

aquel trabajo se han venido desarrollando tambin lo que se
denominan tecnologas de interaccin natural, aquellas en
las que la persona se sirve de su propio cuerpo y de gestos naturales para interactuar con el ordenador, no siendo necesaria
la manipulacin de ningn dispositivo (teclado, ratn, joystick, control remoto) para manejar la informacin digital y
as interactuar con el dispositivo tecnolgico. Los principales
desarrollos de esta tecnologa se han realizado con fuentes
abiertas lo que permite una rpida difusin y fcil acceso a
la misma por la comunidad investigadora y de desarrollo de
aplicaciones informticas (http://www.openni.org/). Para
dar soporte a dicha tecnologa han aparecido en los ltimos
meses diferentes dispositivos que, conectndose a un ordenador o a una videoconsola, permiten al usuario interactuar de
forma natural con las aplicaciones informticas y videojuegos
(Microsoft Kinect, Asus Xtion Pro, etc).

como variaciones en el color de fondo, modificaciones en el

trazo de los dibujos o variaciones en los tamaos de las diferentes partes del dibujo, pueden suponer una barrera que
impida el reconocimiento del pictograma.
Este hecho nos hace pensar que, en dichos casos, las personas con autismo pueden estar simplemente memorizando
una determinada agrupacin de colores, formas y tamaos
sin llegar a ver, en ejemplo de la figura anterior, que se est
representando a una persona mediante un mueco y que esta
persona se encuentra sosteniendo un vaso de agua que a su
vez es representado mediante otro elemento visual, encontrndose ambos relacionados y contenidos dentro de una accin o gesto.
Ante esta dificultad, en uno de los estudios citados anteriormente (Herrera, Jordan y Gimeno, 2006) se desarrollo un
primer prototipo en el que se contaba con una pantalla en la
que se proyectaba, en tiempo real, la imagen de una persona
y de su entorno a modo de espejo. Sobre esta imagen real se
superponan imgenes creadas por ordenador, segn la posicin indicada por un sistema de marcas infrarojas, que supona una restriccin muy importante ya que el usuario tena
que vestir dichos elementos con el fin de que el sistema conociese en cada instante la posicin de cada una de las partes
de su cuerpo.

Descripcin del proyecto

Origen
La experiencia diaria de los profesionales de intervencin
educativa en autismo demuestra que la mayora de las personas con autismo puede aprender a utilizar pictogramas en
una variedad de situaciones, que incluyen tanto la comunicacin expresiva a travs de tarjetas que utilizan para pedir algo
(como en el sistema PECS citado anteriormente), como el uso
de agendas, horarios y otro tipo de apoyos visuales (propios,
por ejemplo del programa TEACCH ya citado).

Cmo puede observarse en la figura, a la imagen real de la

persona, se superponan imgenes creadas por ordenador:
como el esquema corporal de la persona, el pictograma de
beber agua y el pictograma de vaso; a fin de que la propia persona con TEA representara el pictograma de beber agua y pudiera acceder a dicha representacin de una forma totalmente
visual.

Sin embargo, el hecho de que utilicen los pictogramas y los

asocien adecuadamente a determinadas situaciones, tareas o
a su propia intencin comunicativa no significa que realmente comprendan lo que est representado grficamente dentro
de los mismos. La experiencia de numerosos profesionales
que trabajan diariamente con personas con autismo nos indica que, cuando se modifica mnimamente el pictograma, en
muchas ocasiones dejan de reconocerlos. Cambios menores

Con este demostrador, que no fue utilizado con personas

con autismo sino nicamente para valorar la viabilidad de
ciertos planteamientos pedaggicos, se dio comienzo a una
lnea de investigacin que enseguida evolucion hacia el proyecto Pictogram Room, liderado por el Grupo de Autismo y

Figura 1. Ejemplo de pictograma de beber (Fuente: Arasaac)

- 42 -

Herrera, Casas, Sevilla, Rosa,

Pardo, Plaza, Jordan y Le Groux

Artculo Monogrfico
Pictogram Room : Aplicacin de tecnologas de interaccin natural para
el desarrollo del nio con autismo
http://institucional.us.es/apcs

Figura 2. Imgenes del prototipo de Realidad Aumentada

Dificultades de Aprendizaje de la Universidad de Valencia y

en el que colaboran la Universidad de Birmingham, la Universidad Pompeu Fabra. Las asociaciones Autismo Burgos y
Autismo vila colaboran en la validacin del los diseos pedaggicos del proyecto. Se trata de una iniciativa impulsada
por la Fundacin Orange y que tambin cuenta con la financiacin del Programa Avanza Ciudadana (Ministerio de Industria Comercio y Turismo).

nio su nariz con un poco de maquillaje y entonces se le pone

frente al espejo. Si el nio se dirige a tocar su nariz, ms que el
espejo, se considera que ha demostrado autorreconocimiento. Aplicando este paradigma, Ferrari y Matthews (1983), hallaron que cerca de la mitad de las personas con autismo que
participaron en su estudio no presentaban de forma clara un
reconocimiento de s mismas. Adems, estos autores establecen una fuerte relacin entre la falta de autorreconocimiento
en las personas con autismo y su edad mental. Es decir, las
personas con autismo que no mostraron un autorreconocimiento frente al espejo eran aqullas que tenan una edad
mental inferior al nivel de desarrollo en el que los nios de
desarrollo tpico se reconocen a s mismos. Por tanto, el nivel
de desarrollo cognitivo alcanzado por el nio parece ser un
aspecto clave para desarrollar la habilidad de reconocimiento
del uno mismo. Diversos estudios evolutivos, parecen coincidir en que la edad en la que aparece, en los nios de desarrollo
tpico, un reconocimiento definitivo de su reflejo en el espejo
se sita en torno a los 18 y 24 meses (Bertenthal y Fischer,
1978; Lewis y Brooks, 1979); no apareciendo dicho reconocimiento antes de los 15 meses. Segn Michael Lewis, todos
los nios alcanzan esta capacidad de reconocimiento visual a
los 24 meses; excepto los nios con autismo y/o otras alteraciones del desarrollo que no alcanzan la edad mental mnima
de 15-18 meses.

Diseo pedaggico
Como principal objetivo del proyecto Pictogram Room se
plante la realizacin de un diseo pedaggico que potencialmente permitiese abordar las dificultades de las personas con
autismo que presenten una mayor afectacin en el nivel de
desarrollo de sus capacidades.
En este sentido, utilizando los apoyos visuales, la msica y
criterios de jugabilidad que favorezcan una buena disposicin y motivacin del usuario para el aprendizaje, se abordaron aspectos de intervencin como el autoreconocimiento, la
atencin conjunta, la comunicacin y las relaciones con los
dems.
Autoreconocimiento y desarrollo del esquema corporal
Uno de los principales objetivos abordados es el del autoreconocimiento (Rosa et al, 2010) y el desarrollo del esquema
corporal. Las personas con autismo y discapacidad intelectual son las que tienden a mostrar de forma ms evidente una
falta de sentido de s mismas (Ferrari y Wendy, 1983). Uno de
los procedimientos experimentales ms utilizados para estudiar el desarrollo de la autoconciencia o sentido del s mismo,
en los nios pequeos de desarrollo tpico, ha sido el uso del
procedimiento del autorreconocimiento en el espejo o prueba de la marca (Amsterdam, 1972; Bertenhal y Fisher, 1978;
Lewis y Brooks, 1978). En este procedimiento, se le marca al

De esta forma, de acuerdo a las potencialidades descritas

ms arriba acerca del uso de la RA, los usuarios a los que, a
priori, estra dirigido Pictogram-Room seran aquellas personas con autismo y discapacidad intelectual que no muestran
un claro reconocimiento visual de s mismos en el espejo y
que poseen una edad mental en torno a los 15-18 meses. No
obstante, ser el criterio de ausencia o dificultades en el reconocimiento de s mismos el prioritario, frente al de la edad
mental, pues como sabemos la secuencia de adquisicin de
habilidades no siempre es la misma en el autismo que en el
desarrollo tpico.
- 43 -

Anuario de Psicologa Clnica y de la Salud

Annuary of Clinical and Health Psychology

Ao 2012 Volumen 8

Figura 3. Captura de pantalla de la web del proyecto, donde

se ven los juegos educativos El cuerpo

Tambin se abordar la diferenciacin de uno mismo con

respecto a los dems, en el que las personas con autismo
muestran muchas dificultades (Ferrari y Wendy, 1983; Goldfarb, 1967 y 1970; Hobson y cols., 2006; Mahler, 1952; Russell y Jarrold, 1999). A este respecto, en los juegos educativos
del Pictogram Room se superpone, en tiempo real, el dibujo
del esquema corporal a la persona que se mira al espejo, de
forma que los movimientos del dibujo del esquema corporal
se correspondan con los del usuario. De esta forma, se ofrece
al usuario con autismo una representacin visual y esquemtica de su propio cuerpo en todo momento, que se mueve y
responde segn los movimientos y las acciones del usuario.
La superposicin del dibujo del esquema corporal tambin es
empleada, cuando se interacta con otras personas, para trabajar la diferenciacin de la persona con autismo de las otras
personas, a travs de estmulos discriminativos del dibujo del
esquema corporal de cada uno (p. ej color, tamao, textura).
Adems, la RA tambin nos permite aumentar la saliencia de
las reacciones causa-efecto que se producen en el ambiente a
travs de variaciones visuales como cambio en la intensidad
de la luz, coloreado, difuminado, distintas texturas, etc.
Juegos educativos disponibles en Pictogram Room

Cada uno de los subgrupos de cada una de las dimensiones

cuenta con cuatro actividades que, aumentando gradualmente la complejidad, trabajan sobre diferentes conceptos (de forma que cada escalera cuenta con un total de 20 juegos educativos). As ocurre con el ltimo subgrupo de El Cuerpo, que
consta de cuatro juegos.

La primera versin del proyecto Pictogram Room se public

en marzo de 2012 y que estar disponible a travs de http://
www.pictogramas.org, incorpora un total de cuarenta juegos
educativos organizados en torno a dos dimensiones del desarrollo: el conocimiento del esquema corporal y las posturas.
Posteriores versiones darn continuidad a esta lnea pedaggica incluyendo otros juegos educativos relacionados con la
atencin conjunta, la imitacin y la comunicacin.

En el primer juego partes de mi cuerpo el participante ha

de mover rpidamente las diferentes partes de su cuerpo con
el fin de poder ir avanzando. El segundo es similar pero en
esta ocasin se puede trabajar con un fondo plano, similar
al que se utiliza en las cartulinas con pictogramas, sobre el
que aparece un mueco gris al que se le van coloreando las
diferentes partes del cuerpo que el usuario ha de mover para
avanzar en el juego. En el tercer ejercicio el usuario cuenta
con un pictograma gris que lo representa y que ha de conseguir colorear tocando con las diferentes partes de su cuerpo
cubos de pintura que van apareciendo y que son especficos
para cada parte del cuerpo. En solitario o compitiendo con el
educador, supone una forma ldica de aprender el esquema
corporal. Por ltimo, el escaln lluvia para colorear consiste
en el clsico juego de los marcianos en el que, en esta ocasin, llueven pictogramas en los que se ilumina una parte del
cuerpo. El participante ha de ir cogiendo aquellos que le faltan para completar el color de su cuerpo.

Los diferentes juegos se han agrupado en torno a diferentes

dimensiones de trabajo que se relacionan con dimensiones
del desarrollo del nio. A modo de ejemplo, veremos la denominada El Cuerpo. En esta escalera se cuenta con varios conjuntos de actividades que han sido diseadas para favorecer el
desarrollo del esquema corporal. Con este conjunto de juegos
frente al espejo se pretende que el participante aumente gradualmente la atencin hacia las diferentes partes del cuerpo y
el mueco que lo representa. En todos los juegos el educador
ha de asistir al participante, adems de asumir tambin su
funcin dentro del juego.
Cuenta con cinco subgrupos en los que se trabajan diferentes conceptos como moverse en el que se fomenta la comprensin de las relaciones causa-efecto vinculadas al movimiento corporal, tocar en el que el usuario ha de fijar su
atencin en sus manos para poder avanzar en los juegos, mis
fotos en las que se toman una serie de instantneas sobre s
mismo que despus el participante tendr que discriminar
frente a otras fotografas de otras personas, mi mueco en el
que toma contacto por primera vez con el pictograma que lo
representar y por ltimo partes de mi cuerpo que veremos a
continuacin con mayor detalle.

Desde la web del proyecto, cada usuario del proyecto, puede

crear varios alumnos, y para cada alumno configurar los diferentes elementos que aparecen en los juegos, como pueden
ser vdeos, imgenes o sonidos. Adicionalmente, puede verse
la evolucin del alumno, adems de desbloquear las actividades que se crean oportunas. Esta configuracin se actualiza
de forma automtica cada vez que se inicializa la aplicacin.
- 44 -

Herrera, Casas, Sevilla, Rosa,

Pardo, Plaza, Jordan y Le Groux

Artculo Monogrfico
Pictogram Room : Aplicacin de tecnologas de interaccin natural para
el desarrollo del nio con autismo
http://institucional.us.es/apcs

Figura 4: Juego Partes de mi mueco con fondo de vdeo en tiempo real

Conclusin

Claussen, D., y Thaut, M. (1997). Music as a mnemonic device

for children with learning disabilities. Canadian Journal of
Music Therapy, 5, 5566

El presente texto presenta alguna de las potencialidades que

la realidad virtual ofrece para mejorar la atencin a personas
diagnosticadas con trastornos del espectro autista. La hibridacin de nuevas tecnologas e intervencin teraputica abre
nuevas opciones de tratamiento, que pueden preverse muy
prometedoras.

Edgerton, C. (1994). The effect of improvisational music

therapy on the communicative behaviors of autistic
children. Journal of Music Therapy, 21, 3162.
Ferrari, M., y Matthews, W. (1983). School Self-Recognition
Deficits in Autism: Syndrome-Specific or General
Developmental Delay? Journal of Autism and Developmental
Disorders, 13, 317-324.

No obstante, ser la investigacin emprica la que dictamine

la pertinencia (eficacia, eficiencia y efectividad) de programas
como el descrito. Por ello, el siguiente paso lgico consistir
en recabar informacin sobre los resultados derivados de su
implementacin.

Frost, L., y Bondy, A. (2002). The Picture Exchange

Communication System (PECS) (2 ed). Pyramid
Educational Products Inc.

Referencias

Gaffrey, M.S., Kleinhans, N.M,. Haist, F., Akshoomoff, N.,

Campbell, A., Courchesne, E., y Muller, R.A. Atypical
participation of visual cortex during word processing
in autism: An fMRI study of semantic decision.
Neuropsychologia, 45, 1672-1684.

Amsterdam, B. (1972) Mirror self-image reactions before age

two. Developmental Psychobiology, 5, 297305
Bertenthal, B.I., y Fischer, K.W. (1978) The development of
self-recognition in the infant. Developmental Psychology,
14, 44-50

Golan, O., y Baron-Cohen, S. (2006) Systemizing empathy:

Teaching adults with Asperger syndrome or highfunctioning autism to recognize complex emotions using
interactive multimedia. Development and Psychopathology,
18, 591617

Braithwaite, M., y Sigafoos, J. (1998). Effects of social versus

musical antecedents on communication responsiveness
in five children with developmental disabilities. Journal of
Music Therapy, 35, 88104.
- 45 -

Anuario de Psicologa Clnica y de la Salud

Annuary of Clinical and Health Psychology

Ao 2012 Volumen 8

Grandin, T. (1995). Thinking in pictures. My life with autism.

Trad. 2006, Pensar con imgenes. Mi vida con el autismo.
Barcelona: Alba.

Miller, T., Leroy, G., Huang, J., Chuang, S., y CharlopChristy, M.H. (2006, febrero). Using a Digital Library of
Images for Communication: Comparison of a Card-Based
System to PDA Software. Ponencia presentada en la First
International Conference on Design Science Research in
Information Systems and Technology, Claremont, EEUU.

Hart, M. (2005). Autism/Excel Study. Ponencia presentada en

ASSETS 2005: the seventh international ACM SIGACCESS conference on computers and accessibility, Baltimore, EEUU.

Parsons, S., Mitchell, P., y Leonard, A. (2005) Do

adolescents with autistic spectrum disorders adhere to
social conventions in virtual environments? Autism: an
International Journal of Research and Practice, 9, 95-117.

Herrera, G., Alacantud, F., Jordan, R., Blanquer, A., y Labajo,

G., De Pablo, C. (2008). Development of symbolic play
through the use of virtual reality tools in children with autistic spectrum disorders. Autism, 12, 143157;

Register, D. (2001). The effects of an early intervention music

curriculum on pre-reading/ writing. Journal of Music
Therapy, 38, 239248.

Herrera, G., Jordan, R., y Gimeno, J. (2006). Exploring the

advantages of Augmented Reality for Intervention in Autism
Spectrum Disorders. Ponencia presentada en el Second
World Autism Congress, Cape Town, Sudfrica.

Reitman, M.R. (2005). Effectiveness of music therapy

interventions on joint attention in children diagnosed with
autism: A pilot study. Tesis presentada para la obtencin
del ttulo de doctor, Carlos Albizu University.

Hobson, R.P., Chidambi, G., Lee, A., y Meyer, J. (2006).

Foundations for self-awareness: An exploration through
autism. Monographs of the Society for Research in Child Development,71, 1167.

Rosa, L., Herrera, G., Jordan, R., y Gimeno, J. (2010).

Pictogram-Room: Uso de la Realidad Aumentada para el
Aprendizaje Visual de las personas con Autismo. En M.
Belinchn (ed.), Investigaciones sobre autismo en espaol:
problemas y perspectivas.

Jordan, R., y Riding, R.J. (1995). Cognitive style in autism. En

G. Lindfoot, P. Shattock, R. Finnigan y D. Savery (Eds),
Psychological Perspectives in Autism Proceedings of Durham
Conference, 5-7.

Russell, J., y Jarrold, C. (1999). Memory for actions in

children with autism: Self versus other. Journal of Cognitive
Neuropsychiatry, 4, 303-33.

Kana, R.K., Keller, T.A., Cherkassky, V.L., Minshew, N.J.,

y Just, M.A. Sentence comprehension in autism: thinking in pictures with decreased functional connectivity.
Brain,129, 24842493

Standley, J. M. (1996). A meta-analysis on the effects of music

as reinforcement for education/therapy objectives. Journal
of Research in Music Education, 44, 105133.

Lewis, M., y Brooks, J. (1978). Self knowledge and emotional

development. En M. Lewis y L. Rosenblum (Eds,), The development of affect. New York: Plenum.

Standley, J. M., y Hughes, J.E. (1996). Documenting

developmentally appropriate objectives and benefits
of a music therapy program for early intervention: A
behavioral analysis. Music Therapy Perspectives, 14, 8794.

Mesibov, G., y Howley, M. (2010). El acceso al Currculo para

alumnos con TEA: Uso del Programa TEACCH para favorecer la inclusin. vila: Autismo vila.

Ulfarsdottir, L., y Erwin, P. (1999). The influence of music

on social cognitive skills. The Arts in Psychotherapy, 26,
8184.

- 46 -