La TactiNET : toucher le Web… Pour mieux l’entendre
Fabrice Maurel, Waseem Safi
To cite this version:
Fabrice Maurel, Waseem Safi. La TactiNET : toucher le Web… Pour mieux l’entendre. 27ème
conférence francophone sur l’Interaction Homme-Machine., Oct 2015, Toulouse, France. pp.w2,
10.1145/2820619.2825003. hal-01219067
HAL Id: hal-01219067
https://hal.archives-ouvertes.fr/hal-01219067
Submitted on 23 Oct 2015
HAL is a multi-disciplinary open access
archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d’enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.
La TactiNET : toucher le Web… Pour
mieux l’entendre
Résumé
Fabrice Maurel
Université de Caen BasseNormandie
Campus Côte de Nacre, Boulevard
du Maréchal Juin
CS 14032
14032 CAEN cedex 5
fabrice.maurel@unicaen.fr
Waseem Safi
Université de Caen BasseNormandie
Campus Côte de Nacre, Boulevard
du Maréchal Juin
CS 14032
14032 CAEN cedex 5
Permission to make digital or hard copies of part or all of this work for
personal or classroom use is granted without fee provided that copies are
not made or distributed for profit or commercial advantage and that
copies bear this notice and the full citation on the first page. Copyrights
for third-party components of this work must be honored. For all other
© ACM , 2015. This is t he aut hor's version of t he w ork. It is post ed here by
uses, contact the Owner/Author.
permission
of held
ACM by
for the
yourowner/author(s).
personal use. Not for redist ribut ion. The definit ive
Copyright is
version
as published
in Act
es deToulouse,
la 27ème conférence
francophone sur
IHM'15,wOctober
27-30,
2015,
France
ACM
978-1-4503-3844-8/15/10.
l'Int
eract
ion Homme-M achine, 2015.
http://dx.doi.org/10.1145/2820619.2825003.
ht t p:/ / dx.doi.org/ 10.1145/ 2820619.2825003
Dans l’objectif de pallier les difficultés d’interactions
avec des documents, la recherche peut être menée
selon deux grandes directions : (1) concevoir ou
améliorer les techniques facilitant la lecture/saisie des
documents, ou (2) modifier le document pour le rendre
plus accessible avec les outils existants.
Dans le cadre de l’accès non visuel, ces paradigmes,
parfois combinés, ont suscité une importante
production scientifique. La première voie s’attache à la
conception de dispositifs de substitution sensorielle [1].
La seconde, qui peut s’appuyer sur les domaines du
Traitement Automatique des Langues (TAL) et de la
Recherche d’Information (RI), transforme les
documents afin de les adapter aux contraintes d’une
interaction non visuelle (orale, tactile ou multimodale).
Nous proposons un dispositif qui emprunte à ces deux
solutions pour résoudre une difficulté rencontrée par les
non-voyants lors de la navigation d’une page Web sur
tablette tactile : l’absence de perception globale de la
page. Les premières expérimentations offrent des
résultats prometteurs dans un paradigme « design for
all ».
Mots clés choisis par les auteurs
Navigation non visuelle, modalité vibrotactile, mise en
forme
Mot clés de la classification ACM
H.5.m. Information interfaces and presentation (e.g.,
HCI): Miscellaneous
1
Introduction
Une partie de la population non-voyante profite du
développement de nouvelles applications pour interagir
avec les outils tactiles : par exemple VoiceOver (Apple)
ou Talkback (Androïd) permettent l’oralisation des
informations survolées par le doigt ; l’interaction est
ainsi moins passive qu’avec les technologies classiques
proposées par les lecteurs d’écran puisqu’il s’agit de
piloter activement la synthèse de la parole. La difficulté
pour s’orienter dans une page Web reste grande car les
stratégies mises en place pour se construire une
représentation mentale de la structure de l’information
sont lentes et fragiles. Elles nécessitent le passage du
doigt sur toute la surface de l’écran pour prendre
connaissance des différents éléments qui la composent.
Ainsi l’activité sur Internet des non-voyants se veut
utilitaire et pragmatique : essentiellement sur les sites
« appris » et une refonte de l’organisation ou la
découverte de nouvelles pages engendrent des freins
sérieux au plaisir de la navigation ; le « droit à la
flânerie pour tous » n’est pas respecté sur la toile !
Des recherches précédentes ont démontré qu’un des
éléments facilitateurs importants pour la navigation
visuelle est la mise en page des documents [2]. Grâce
à la perception des contrastes qu’elle induit, un rapide
premier regard, transforme nos intentions en une
interaction efficiente ; avant même l’accès au contenu
articulable. Deux questions se posent dans ce cadre :
Comment donner un premier regard non visuel des
pages Web ?
Quels usages, quelles stratégies, pourraient
émerger d’un accès rapide aux contrastes de mise
en forme pour un non-voyant ?
2
Cet article fait le point sur notre réponse à la première
question en focalisant sur un travail de conception d’un
dispositif vibrotactile permettant de percevoir, sur
tablette de type Androïd, les différents contrastes
lumineux produits à l’écran : la TactiNET. Nous
espérons ainsi que rendre tactile a mise en forme
permettra d’améliorer un peu plus la capacité de
pilotage de la synthèse de parole et donc une meilleure
navigation orale.
Aucune des solutions évoquées ne compensent cette
absence de « premier regard » qui permettrait une
intégration précoce des indices visuels utiles pour
contrôler efficacement l’interaction et développer des
stratégies de lecture de haut niveau. Nous décrivons
dans la section suivante les approches les plus
innovantes qui travaillent à cet objectif.
Contexte scientifique
Le Braille permet la représentation des caractères, de la
ponctuation et d’une partie de la mise en page ; Dans
un paradigme de conception pour tous [3], nous
évitons ce code afin de ne pas exclure les personnes
voyantes et la plupart des non-voyants qui ne le lisent
pas. Quelques concepteurs de synthèse vocale ont vu la
nécessité « d'aller au-delà de la limite de la phrase (le
paragraphe ou même une organisation hiérarchique des
documents), pour une lecture non linéaire » [4].
Pourtant, quand on examine les systèmes récents, nous
remarquons que la typo-disposition est peu utilisée
dans le calcul de la prosodie de synthèse. Une
proposition a été faite dans ce sens afin de transposer
l'architecture visuelle des documents vers la modalité
orale grâce à diverses stratégies [5]. Les deux
conclusions de ce travail sont que la transposition (1)
vers des patrons intonatifs améliore l'efficacité de la
synthèse vocale, mais (2) que l'absence de vision
globale et précoce dégrade les capacités cognitives en
comparaison avec la lecture silencieuse. Une solution
alternative ou complémentaire peut être trouvée dans
la modalité tactile. De nombreuses études se sont
concentrées sur le problème de la présentation tactile
de l’information aux non-voyants. Une première
tentative en 1966, a débouché sur l’OPTACON [6] ; un
stylo scanner qui permet de suivre un texte papier ligne
à ligne en produisant la sensation tactile des lettres
survolées sur le doigt de la main libre. Le Dispositif
Electronique de Lecture de Texte pour Aveugles
(D.E.L.T.A.), développé en 1980 [7] permet à un nonvoyant de lire tout texte imprimé, quel que soit le type
de caractère utilisé, par la manipulation d’une microcaméra qui reconnaît et traduit en Braille les caractères
imprimés. [8] propose un navigateur web tactile qui
affiche les textes et les graphiques bitmaps ou
vectoriels sur une matrice de picots afin de restituer la
structure bidimensionnelle de l’information (Figure 1a).
De même [9] propose une solution similaire pour
l’accès aux livres scolaires. Bien que ces techniques
soient intéressantes, elles nécessitent un matériel
coûteux et peu utilisable avec des dispositifs portables.
De plus, afin de faciliter leur inclusion sociale, les nonvoyants préfèrent utiliser les mêmes solutions
logicielles ou matérielles que les voyants.
Quelques études particulièrement intéressantes doivent
être citées ; comme [10] qui présente des expériences
basées sur un système appelé Tactos [11], composé de
trois éléments : un ordinateur, des stimulateurs
tactiles, et une tablette graphique avec son stylet. Le
dispositif permet la reconnaissance non visuelle
d’écritures ou de dessins s’affichant à l’écran de
l’ordinateur (Figure 1c). [12] détecte l’information
3
visuelle signifiante dans les documents afin d’extraire et
réarranger ces propriétés vers une sortie spécifique
accessible. Ce modèle, appelé MAP-RDF, a vocation
d’être intégré dans une plateforme capable de fournir
des sorties tactiles et orales (Figure 1b). La solution est
intéressante puisqu’elle fournit aux non-voyants une
vue globale de la structure de la page. Cependant, elle
ne fonctionne que pour les documents bien structurés
qui contiennent des métadonnées et nécessite une
capacité d’analyse automatique de la page web qui ne
permet pas encore un traitement en temps réel. [13]
ont présenté un navigateur web tactile à bas coût. La
plateforme inclut un microcontrôleur qui communique
avec le serveur pour acquérir une page et l’afficher
avec un tableau de solénoïdes (bobines induisant un
champ magnétique uniforme). Les non-voyants utilisent
alors leur sens tactile pour reconnaître le texte en
langage Braille. Une fois de plus, cette solution
nécessite un matériel spécifique peu utilisable dans le
cadre de l’accès mobile. L’équipe MINT à Lille propose
également une nouvelle technique de pointage,
Surfpad, qui s’appuie sur un pavé doublement tactile,
STIMTAC, résultat de travaux initiés en 2004 : celui-ci
détecte la position du doigt mais peut également
produire des sensations tactiles [14].
Figure 1. (a) matrice picots (b) sortie MAP-RDF (c) Tactos.
Nous proposons une solution qui combine les deux
paradigmes tels qu’ils ont été présentés en
introduction : (1) conception d’un dispositif de
suppléance sensorielle à base d’effecteurs capables de
traduire les contrastes lumineux produits par un écran
en stimuli tactiles ; (2) la mise en forme du document
doit être analysée, segmentée (en utilisant les
algorithmes présentés par [15]) puis transformée de
manière à ce que les stimuli tactiles qu’elle permet
d’engendrer soient pertinents d’un point de vue
psychosensoriel. Nous présentons ici ce nouveau
dispositif adapté aux technologies mobiles.
thermiques placés sur la main non navigante. Un
programme embarqué sur une tablette Androïd propose
une image sur l’écran et détecte les positions de
contact des doigts avec l’écran. Le niveau de gris des
zones survolées est transmis par liaison Bluetooth au
dispositif qui calcule la variation d’intensité que doivent
produire les actionneurs. Pour les pré-tests nous
n’avons utilisé qu’un actionneur vibrotactile.
Solution proposée
Même si les techniques auditives ou tactiles continuent
de se développer, peu d’entre elles se donnent pour
objectif une appréhension non visuelle des documents
structurés à la fois globale et naturellement interactive.
L’utilisateur non-voyant ne les perçoit que par des
fragments ordonnés dans la dimension temporelle.
Notre solution s’appuie justement sur la structure
visuelle des documents, et les contrastes qu’elle induit
sur l’écran tactile, pour capturer cette information et la
restituer grâce à des actionneurs placés par exemple
sur une main. Ce travail est guidé par la métaphore du
concept de canne blanche : le non-voyant explore le
monde en se dirigeant grâce aux contacts de sa canne
avec les obstacles et les matériaux autour de lui ; nous
souhaitons que les structures visuelles des textes
puisse jouer ce rôle pour l’exploration tactile des
documents, en créant un environnement sensoriel fait
de « trottoirs textuels », de textures graphiques et de
chemins balisés orientant les mouvements de la
« canne-doigt ». Notre système [16] s’appuie sur un
circuit électronique que nous avons entièrement
développé. Il contrôle plusieurs actionneurs vibrants ou
4
Figure 2. La TactiNET.
Protocole du pré-test
Chaque expérience a consisté à un entraînement sur 3
figures simples (Figure 3). Nous avons ensuite utilisé
ces formes pour créer 3 configurations plus complexes
(Figure 4). Chaque sujet (15 voyants collègues
chercheurs yeux bandés et 5 non voyants non
homogènes en termes d’âge, de précocité de la cécité
et d’habituation aux NTIC) a exploré puis redessiné ces
configurations (sur papier pour les voyants et sur
tablette pour les non-voyantes). Les résultats obtenus
pour les personnes voyantes ont été décrits dans [17].
possible de distinguer les relations de direction (lorsque
tous les éléments composant les formes étaient
reconnus alors leurs relations spatiales étaient
respectées) ; L’hypothèse d’une corrélation peut être
émise entre la capacité exploratoire et l’habitude
d’utilisation des NTIC ; il y a une influence de la
précocité de la cécité sur la durée d’apprentissage : la
meilleure stratégie d’exploration (balayage horizontal et
vertical) n’a été naturellement produite que par les
aveugles précoces. Les plus tardifs procédaient par une
stratégie de suivi de contour peu efficace ; Les
pressions les plus fortes exercées sur l’écran sont sur
les images pour lesquelles les sujets avaient le moins
d’erreur ; La vitesse naturelle d’exploration était trop
importante par rapport à la réactivité du dispositif.
Trouver la bonne vitesse de survol n’est pas facile et
participe à la durée trop longue de l’exploration.
Figure 3. 3 formes de base.
Conclusions et perspectives
Figure 4. 3 configurations.
Figure 5. Résultats du sujet 4.
Le travail avec des non-voyants est en cours d’analyse
mais nous mais nous pouvons tirer de ces pré-tests un
certain nombre de conclusions : il est possible de
percevoir la taille de formes rectangulaires (le rapport
d’échelle de la forme dessinée et de la forme explorée
est toujours sensiblement égal à 1 - Figure 5) ; il est
5
Nous espérons par ces travaux favoriser et observer
l’émergence de stratégies non visuelles de lecture de
haut niveau (lecture rapide ou en diagonale, retrouver
une information, choisir ou catégoriser une page web).
Bien sûr la distance entre les possibilités du dispositif et
cet objectif est grande mais une marge de progression
est envisageable ; un nouveau prototype permettant
une expressivité tactile beaucoup plus riche (jusqu’à 8
vibreurs piézoélectriques de haute qualité, variables
indépendamment en fréquence et en intensité ainsi
qu’un actionneur thermique) a été développé et est en
cours d’évaluation psychosensorielle pour nous fournir
les bases de construction d’un langage graphique
adapté (Voir vidéo : https://art-adn.greyc.fr/). La
TactiNET a dans tous les cas vocation à être combinée
avec d’autres modalités sensorielles, en particulier
orales, selon des stratégies interactives que nous
développons dans des travaux connexes. De manière
générale nous souhaitons apporter un angle novateur à
l’approche « design for all » en considérant que les
recherches doivent être menées avec la volonté de
proposer aux non voyants des possibilités inaccessibles
même aux personnes valides (un voyant est aveugle a
la globalité de la structure des pages Web soient en
raison de leurs relations hypertextuelles, soient car
elles sortent du cadre de l’écran) ; Ainsi la réutilisation
des résultats dans des applications utiles à tous sera
facilitée.
Références
methods of interaction. Interacting with Computers,
Elsevier, Volume 19, Issue 1, 2007, 121-132.
[1] Bach-y-Rita P. Tactile sensory substitution studies, In
Annals of New York Academic Sciences, 2004, 83–91.
[2] Maurel F., Vigouroux N., Raynal M., Oriola B.
Contribution of the Transmodality Concept to Improve Web
Accessibility. In Assistive Technology Research Series,
Volume 12, 2003, Pages 186-193.
[3] Bougie T. The Impact of New Technologies on the
Quality of Life of People with Disabilities, 2002, ISBN 92871-5007-9.
[4] Boula de Mareüil P. Elan Text-To-Speech : un système
multilingue de synthèse de la parole à partir du texte. In
Synthèse de la parole à partir du texte, , 2001, 223-252.
[5] Maurel F., Mojahid M., Vigouroux V., Virbel J.
Transposition automatique à l'oral des structures visuelles
de texte. Document numérique, Hermès, 2006, p. 25-42.
[6] Goldish L.H., Taylor H.E. The Optacon : A valuable
Device for Blind Persons, In NEW OUTLOOK FOR THE
BLIND, 1974, pages 49-56.
[7] Conter J., Alet, B., Puech P., Bruel A. A low cost,
portable, optical character reader for blind, In
Development pf Electronic Aids for the Visually Impaired,
1986, pages 117-125.
[8] Rotard M., Knödler S., Ertl T. A Tactile Web Browser
for the Visually Disabled, ACM Conference on Hypertext
and Hypermedia, ACM, New York, NY, USA, 2005, 15-22.
[9] Petit G., Dufresne A., Levesque V., Hayward
V.,Trudeau N. Refreshable Tactile Graphics Applied to
Schoolbook, Illustrations for Students with Visual
Impairment, ASSETS’08, 2008, Halifax, Canada.
[10] Ziat M., Gapenne O., Stewart J., Lenay C. Haptic
recognition of forms at different scale: A comparison of two
6
[11] Lenay C., Gapenne O., Hanneton S., Marque C. and
Genouëlle C. Sensory Substitution, Limits and
Perspectives. In Touch for Knowing , John Benjamins
Publishers, Amsterdam, 2003.
[12] Bou Issa Y., Mojahid M., Oriola B., Vigouroux N.
Analysis and Evaluation of the Accessibility to Visual
Information in Web Pages, (ICCHP 2010), Vienna,
Springer, In Computer Science, 2010, p. 437-443.
[13] Alaeldin A., Mustafa Y., Sharief B. Tactile Web
Navigator Device for Blind and Visually Impaired People.
Jordan Conference on Applied Electrical Engineering and
Computing Technologies Conference, 2011.
[14] Amberg M., Giraud F., Lemaire-Semail B., Olivo P.,
Casiez G., Roussel N. STIMTAC, a tactile input device with
programmable friction. In Adjunct proceedings of UIST’11,
2011, pages 7-8.
[15] Safi W., Maurel F., Routoure J.-M., Beust P., Dias G. A
Hybryd Segmentation of Web Pages for Vibro-Tactile
Access on Touch-Screen Devices, Proceedings of VL’14,
associated to COLLING 2014, 2014, pp 95-102.
[16] Safi W., Maurel F., Routoure J.-M., Beust P., Dias G.
Blind Browsing on Hand-Held Devices: Touching the Web…
to Understand it Better, Proceedings of DataWiz 2014,
associated to HYPERTEXT 2014, 2014.
[17] Maurel F., Dias G., Vautier M., Routoure J.-M., Beust
P., Molina M., San C. Haptic Perception of Document
Structure for Visually Impaired People on Handled Devices,
In Proceedings of DSAI 2012, Elsevier Procedia-Computer
Science Journal, 2012, 319-329.