ENIGMES
Un projet de recherche et d'expérimentation pédagogique
Expérimentation de Nouvelles Interfaces Gestuelles Musicales et Sonores
LA PARTITION NAVIGABLE
Compte rendu du projet
par Roland Cahen
avec les contributions des étudiants, artistes et chercheurs ayant participé au projet : notamment Marine
Rouit, Marco Marini, Christian Jacquemin, Diemo Schwarz, katalina Quijano…
Résumé
ENIGMES (Expérimentation de Nouvelles Interfaces Gestuelles Musicales et Sonores) est un projet de
recherche et d’expérimentation pédagogique interdisciplinaire développé à l’ENSCI (Ecole Nationale
Supérieure de Création Industrielle) en 2006-2007 dans le cadre du studio de création sonore de Roland
Cahen. Les champs de compétence concernés sont : conception d’usage, graphisme, musique,
informatique Le projet concerne des étudiants, enseignants, chercheurs et artistes. Le thème en est la
partition navigable (ou partition instrument) soit une approche interdisciplinaire de la composition et du
jeu musical électroacoustique tirant parti des possibilités offertes par les outils numériques. La
recherche musicale portée sur des problématiques d’usage dans un cadre pédagogique. Quatre
métaphores d’usage ont été définies et développées : deux concernant les interfaces gestuelles et deux
les modalités de navigation sonore en 2 et 3D.
Compte rendu du projet de recherche ENIGMES
p.1
2006-2007
Résumé
1
I-Présentation générale du projet
1.-Générique
Organisation
2.-Compte rendu de l’organisation
Planning rétroactif
5
5
5
6
6
II-Définition du contenu
1.-La partition navigable
Le spectacle du concert numérique
Le réel et le montré
Le statut de l’interprète/joueur
Références et différences
2.-Glossaire commenté
Domaine d’application
Métaphore d’interaction
Scénario d’usage
Sujet de travail
Concepts Musicaux ou de navigation sonore
Notation musicale
Transcription musicale
Représentation sonore
Représentation musicale
Navigation sonore
7
7
7
8
8
9
9
9
10
10
10
10
10
10
10
10
10
III-Les ouvrages
1. XYinteraction : « Piège à Rêves
Compte rendu de fin de recherche par Marco Marini Compositeur (04/04/07)
A. Piège à Rêves : L’univers sonore et la création musicale
B. Piège à Rêves : Calendrier des évolutions
C. Piège à Rêves : L’interface textile
D. Piège à Rêves : Considérations personnelles
2.FEUILLAGE
La métaphore de l’arbre
Esquisse en 3D
Navigation libre – parcours contraint
Composition, décomposition et recomposition
Comportements graphiques et sonores des évènements
Modalités de navigation
Situation d’usage
Plateforme de développement
Projet d’interprétation collaborative
Conclusion
3.Projet « LES ILES »
Introduction
Principe général
Technologie : La palette graphique « préparée ».
Définition du projet
Définition de 2 pistes de projets : 2 scénarios d’usage
Une Table d’improvisation
Objectif
Recherches
Modélisation 3D et le fraisage numérique
Réalisation des patchs Max/MSP
Finalisation
L’objet final
Un cahier d’écriture
4.PLUMAGES
Naviguer dans une collection d’échantillons sonores
Principes de CatART
Description du projet Plumage
11
11
12
12
14
15
17
20
20
21
21
22
22
23
25
26
26
29
30
30
30
30
32
33
33
33
33
36
38
38
39
44
46
46
46
46
Compte rendu du projet de recherche ENIGMES
p.2
2006-2007
Plumage: Design d’une interface 3D pour le parcours d’échantillons sonores granularisés
4 ANALYSE ET RESYNTHÈSE SONORE
5 MISE EN ŒUVRE
6 PERCEPTION DES INTERACTIONS MUSICALES ET VISUELLES
References
5. Peinture Sonore
Installation Visuelle - Sonore Interactive pour Saxophone Baryton en Mi b
4. Proposition artistique
5. Proposition technique
4. Proposition artistique
5. Proposition technique
47
50
51
51
52
53
53
54
54
55
56
IV-Questions et réflexions
1.La recherche art et science à l’ENSCI
Musique et création industrielle : le design sonore en question
Un potentiel fondamental
Une situation historique problématique (point de vue)
Une recherche collaborative portant sur des questions et des contenus définis et partagés
2.Terminologie : partition navigable ou quoi ?
3.Liberté et contrainte
Entre notation et instrument, une zone floue. Tentative d’éclaircissements
Suffer sur, remixer ou interpréter l’œuvre
La palette d’objets sonore
Mise en mouvement du joueur et notion de guide
Un même objet visible, jouable et audible
Les déclencheurs ou triggers
Comportements visuels et sonores des objets excités
4.transformabilité et jouabilité de l’interface musicale
5.Le designer ou le compositeur de partition navigable, un nouvel art entre composition et
interprétation
Topographie
Topophonie
6.le concert électronique comme spectacle
Le réel et le montré
60
60
60
60
60
60
61
61
61
62
62
62
63
63
63
63
V-Outillage technique
1.Développement informatique ENIGMES-Lib
Les interfaces utilisées
1/Les détecteurs
3/Les générateurs
Distribution de la librairie ENIGMES
Évolutions de la librairie
2.Notions d’interaction sonore
Petite typologie des interactions sonores et musicales
Modes d’interaction
Temporalité des interactions
Critères de sélection d’un type d’interaction
Mapping des paramètres d’interaction
Plan schématique du mapping contrôleur/son
66
66
67
67
67
68
68
68
68
69
69
70
70
71
VI-Conclusion
Résultats positifs
Aspects à développer
Un modèle possible de projet de recherche à l’ENSCI
Limites du modèle
72
72
72
72
72
VII-Annexes
1.Images du projet
2.Textes et images des étudiants rédigés et réalisées au cours du projet
Zeev Zohar : définitions du fonctionnement du système statistique de Feuillage
Catalina Quijano : prédéfinition graphique Feuillage
4.Qu’est-ce qu’un instrument ?
5. Cahier des charges du développement de Plumage
protocole de communication
6. Publications
Article des JIM 07 résumé complet du projet, de son contexte et de ses développements
RÉSUMÉ
partitions navigables
quatres métaphores
73
73
77
77
82
86
89
93
96
96
96
96
98
Compte rendu du projet de recherche ENIGMES
p.3
2006-2007
63
63
64
64
64
OUtil informatique : ENIGMES-Lib
La recherche dans les écoles supérieures d’art
Conclusion
RÉFÉRENCES
Les pages web du projet
Le DVD
Compte rendu du projet de recherche ENIGMES
102
103
104
104
105
106
p.4
2006-2007
I-Présentation générale du projet
1.-Générique
Organisation
Pilote du projet
ENSCI – Ecole Nationale Supérieure de Création Industrielle
Responsable du projet
Roland Cahen : compositeur électroacoustique, designer sonore, enseignant fondateur du studio sonore
de l’ENSCI
Partenaires pédagogiques
UNIVERSITÉ PARIS XI, Classe de musique électroacoustique de l’Ecole Nationale de Musique de Pantin
Collaborations scientifiques
LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (Christian
Jacquemin)
IRCAM - Institut de Recherche et de Coordination Acoustique et Musique (Equipe Application Temps
Réel : Diemo Schwarz)
Collaborations artistiques
Marco Marini : compositeur
Eric Broitmann : compositeur
Partenaire d'accueil
Le Cube (art 3000) Issy les Moulineaux
Participants
Anne-Catherine Milleron acmilleron@gmail.com, Azadeh Nilchiani azadehf.nilchiani@gmail.com,
Emmanuel Debien emmanuel.debien@gmail.com, Eric Broitman ericbroit@wanadoo.fr, Joan Bagés i Rubí
joanbir@hotmail.com,
Luciana
Gonzalez
Franco loopaula@hotmail.com,
Marco
Marini
marini.mko@wanadoo.fr, Marine Rouit marine@rouit.com, Matthieu Savary msavary@gmail.com, Maurin
Donneaud maurin.box@free.fr, Santiago Tomás Díez diezfischer2003@gmail.com, Yoan OLLIVIER
yoan.ollivier@gmail.com, Zheni Zhmer zhmer77@yahoo.fr, Laurent Herbet airebvision@yahoo.fr, Claire
Moulin claire.moulin@free.fr, Benjamin Wulf benwulf@gmx.de, Benjamin Chardinal bchardinal@hotmail.fr,
Svetlana Bogomolova sveta.bogomolova@gmail.com, Katalina Quijano kataqui@hotmail.com, Yulia
SAMUL jsamul@mail.ru, Zeev Zohar zoharnzn@netvision.net.il, Maria Laura Mendez Marten
mm@mmmaria.com
Concepteurs d‘ouvrages
Yoann Olliver, Marine Rouit, Maurin Donneaud, Mattieu Savary
Aide en développement
Jean-Philippe Lambert, Virgine Sebbag, Rami Ajaj, Benoit Montigné, Anne-Catherine Milleron
Diemo Schwarz, Christian Jacquemin, Roland Cahen
Comité de pilotage
Claude EVENO
Christian Jacquemin
Diemo Schwarz
Christine Groult
Françoise Courbis
Annie Gentès
Compte rendu du projet de recherche ENIGMES
p.5
2006-2007
Financement du projet
Le projet a été principalement supporté par l’ENSCI, il a reçu la Bourse de recherche Pierre Schaeffer de
la Société Civile des Auteurs Multimédia SCAM et une aide aux projets de recherche dans les écoles
d’art de la Délégation aux Arts Plastique DAP, une demande a également été faite à la DMDTS - Le
budget global se monte à 11 500 euros, pour un apport de 6 500 euros.
Le projet a également bénéficié d'apports en nature de ses partenaires et participants.
2.-Compte rendu de l’organisation
Planning rétroactif
•
Lancement du projet Janvier 2006
•
Février à Juin : projets de définition : Marine Rouit, Yoan Ollivier, Maurin Donneaud, Katalina
Quijano
•
du 25 au 30 septembre : workshop et séminaire à l’ENSCI
•
Octobre-Novembre 2006 : développement des ouvrages
•
MARDI 7 Décembre : Soirée CôTé LABO Le Cube Issy les Moulineaux
•
Décembre-Janvier : finalisation des ouvrages
•
Le 11 janvier 2007 : concert Piège à Rêve à l’OPA Bastille
•
Samedi 10 Février : concert ENIGMES journées portes ouvertes ENSCI
•
Février–Mars : rédaction des comptes rendus et tournage DVD
•
20 Mars : concert avec les Iles et Piège a Rêve à l’ENM de Pantin
•
29/30Juin : Piège à Rêve en concert à Nancy festival Emil 13
•
Juin 2007 Montage DVD : fin de projet…
Compte rendu du projet de recherche ENIGMES
p.6
2006-2007
II-Définition du contenu
1.-La partition navigable
Le concept de partition navigable ou partition-instrument s’inscrit dans la perspective de celui de
« navigation sonore » : c’est-à-dire un parcours dans un espace sonorisé générant une composition
sonore en fonction des actions de l’utilisateur sur les objets (sonores) qui composent l’espace.
Traditionnellement, la partition est indépendante de l’instrument, pour des raisons pratiques évidentes
qui permettent entre autres choses une indépendance des fonctions de lecture/écriture et de jeu. Mais
cette indépendance est aussi historique car le support papier de l’écriture et de la lecture peut
difficilement fusionner avec l’instrument classique.
Cette fusion pose des problèmes qui lui sont propres : répertoire réduit ; à un seul morceau dans le cas
d’instruments construits pour une musique, ou expression instrumentale réduite ; dans le cas de la
conduite fidèle d’une partition conventionnelle.
Toutefois nous considérons que ces limites pourraient être dépassées d’une part en rendant
transformable l’instrument et d’autre part en développant des éléments d’un Solfège Graphique de
Navigation Sonore c’est-à-dire des formes types de navigation sonore. Ce néo-solfège ne pourrait
probablement pas être générique contrairement au solfège traditionnel, il ne peut s’envisager que sous
une forme dépendant des modalités d’interactions et des situations d’usage, voire des œuvres, comme
c’est déjà en partie le cas en musique instrumentale contemporaine.
Cette transformabilité de l’instrument est facilitée par les dispositifs numériques. La possibilité de
modifier facilement l’interface visuelle et moins facilement mais possiblement les modalités
d’interactions permet d’envisager de nouvelles distributions des fonctions entre la notation et la
production sonore. Il devient possible de réaliser des formes de partitions qui soient également des
instruments, autrement dit des notations actives dans lesquels les mécanismes instrumentaux et la
notation peuvent être coordonnés, animés, orientés en fonction de l’usage…etc.
La question posée aux étudiants était d’imaginer de tels dispositifs et de concevoir puis développer des
métaphores d’usage.
Assez vite, le terme de partition navigable, dont le principal avantage est qu’il suggère une certaine
sophistication eu égard à la très riche histoire de la notation musicale, nous est apparu comme un
boulet qui rattache trop fortement à la tradition. Ce terme peut entraîner des confusions qu’il ne faut
pas laisser enfler. Lors de présentations, les questions du public musicien retournaient toujours à la
question de savoir si ce que l’on proposait était « mieux ou moins bien qu’une partition musicale
classique »…renvoyant la problématique de la partition navigable à celle galvaudée des « nouvelles
écritures musicales », une question somme toute hors sujet. Nous avons donc cherché à prendre de la
distance avec ce concept et n’avons pas encore trouvé celui qui conviendrait le mieux : les meilleurs
candidats étant actuellement : Notation musicale active, Topophonies, Lignes sonores, parcours, tracés…
D’un autre coté, le public des artistes visuels a tendance à confondre la démarche de la partition
navigable avec celle des partitions graphiques. Certes le graphisme joue un rôle important de repérage
et de mise en forme visuelle, mais la question de l’esthétique de la notation est ici accessoire. La
visualisation joue un rôle avant tout fonctionnel. Elle apporte au joueur un repérage spatial/temporel et
une restitution visuelle dynamique de l’interaction elle-même. L’esthétique visuelle intervient en fin de
chaîne, au niveau des représentations données à voir au joueur et au public lors de la performance. La
question de la relation son/image ou son/geste, prise telle quelle est également une question théorique
trop générale. Pour donner du sens à cette relation, il est nécessaire de la confronter au contexte
d’usage et traiter chaque situation au cas par cas. Dès que nous envisageons les cas spécifiques, les
termes son , image et gestes ne désignent plus que des notions très sommaires, inopérantes pour
spécifier leurs relations.
Le spectacle du concert numérique
Le concert électroacoustique ou acousmatique et par extension celui des musiques électronumériques
posent encore aujourd’hui la question de l’absence de visuel. Dans le spectacle du concert instrumental,
le spectateur regarde l’interprète et l’instrument, les gestes et les expressions du musicien, le vécu,
l’effort, l’émotion…, mais le plus souvent, on voit mal l’action instrumentale. Cette imprécision joue
probablement un rôle pour l’écoute. Dans le concert électroacoustique, l’expression et les gestes du
musicien sont réduits à une gestique sans lien apparent avec la dynamique du contenu sonore. La
relation de cause à effet échappe alors au spectateur. Le fait de voir le musicien agir avec un geste
coordonné à la musique, apparaît comme un fondement important de la relation causale qui donne sa
légitimité à l’interprète. Présenter une construction visuelle liée au geste du musicien, peut permettre de
dépasser la mécanique peu significative de l’instrument et voir émerger une mise en représentation, un
spectacle de la relation entre l’action du musicien et l’effet sonore produit.
Il ne s’agit aucunement de nier l’intérêt d’une écoute sans visuel choisie dans un objectif de
concentration, mais l’idée selon laquelle cette écoute serait la véritable écoute épurée est complètement
ridicule. L’écoute ans la vue est un peu comme le gôut sans l’odorat. L’écoute est relié a un imaginaire
diversifié selon les individus, les situations et les usages. Croire que cette construction imaginaire en
grande partie visuelle disparaîtrait, chez des personnes voyantes, dès lors qu’ils ont les yeux fermés est
à mon avis un leurre.
Qu’en est-il de la présentation de la partition comme visuel ? On a peu d’expérience d’utilisation de la
partition comme visuel du concert, encore moins d’un suivi interactif de cette partition. C’est dans cette
direction que nous travaillons.
Le réel et le montré
Le spectacle est avant tout l’art des faux semblants. Ce qu’on voit ou qu’on entend réellement sont des
formes physiques, ce qu’on vit est imaginaire. L’essentiel de l’art est dans ce dernier dont le premier est
le substrat. L’honnêteté artistique est de savoir bien tricher pour donner accès à une réalité imaginaire à
partir d’une réalité partiellement fabriquée, partiellement préexistante. La virtualité numérique offre dans
le cadre autorisé par l’imagerie, une capacité de fabrication qui s’affranchit de certaines limite de la
matérialité physique de la représentation. Là où le réel de la situation ne produit pas de sens, elle
permet d’en créer.
La convention théâtrale permet de s’affranchir dans une certaine mesure de la situation de
représentation en s’appuyant sur la culture acquise, mais chaque théâtre est différent, aucune
convention universelle réglementaire et obligatoire n’est définitive. Il en résulte que la situation vécue
du spectacle colonise nécessairement le contenu artistique, même au cinéma où la norme est reine, au
point que le vécu du contenu soit de facto une fusion entre le texte et la situation.
Il n’est pas rare de voir sur la scène électronique une longue table sur laquelle, comme pour les
conférences sont régulièrement alignés une série de laptops (ordinateurs portables) dont les couvercles
relevés forment une espèce de créneau derrière lequel les musiciens se barricadent pendant toute la
durée du concert comme des arquebusiers dans une forteresse. On entrevoit parfois à la lueur blafarde
des écrans une activité fugace. Si c’est la seule façon de faire de la musique live, je préfère l’orchestre
de haut-parleurs. On y fixe aussi bêtement des objets statiques avec leur logos de marques mais ce ne
sont pas les mêmes, peut être une certaine forme d’exotisme…
Lorsqu’un instrumentiste joue de son instrument en public, qu’il le reconnaisse ou non, il est en
représentation. Cela se traduit par une composition théâtrale plus ou moins marquée. Le compositeur et
homme de théâtre Pierre Boswillwald évoque à ce propos l’exagération des gestes de Pierre Henry à la
console de diffusion. On pense également aux mouvements du haut du corps, aux effets de râles, à une
certaine forme de chorégraphie certes plutôt minimaliste mais indéniable de nombreux solistes
classiques. Mais plus simplement de tout un environnement théâtralisé, un cérémonial, l’invention du
chef d’orchestre, dont on ne nie aucunement l’utilité mais qui de facto se produit comme danseur d’une
danse technique comme le musicien est acteur d’un jeu technique. Bref, si le concert est un spectacle,
le concert électroacoustique l’est également. Un spectacle étrange où la règle est un relatif silence visuel
dont on pense qu’il favorise l’écoute musicale, ce que personne n’a vraiment démontré à ma
connaissance. Il est certain qu’au milieu du vacarme visuel, un peu de répit ne fait pas de mal, mais
l’absence de support visuel est également une mortification dont il n’est pas sûr que les effets sur
l’écoute et l’imagination soient si positifs qu’on le dit habituellement.
Si les exemples précédents montrent l’existence de la théâtralisation dans le concert, ils montrent
également que cette théâtralisation n’est pas assumée, c’est-à-dire rarement érigée en modèle. On ne
parle pas ici du théâtre musical, de l’opéra, du film musical et des nombreuses autres formes de
spectacles sonores qui sont des formes de spectacle et non des concerts théâtralisés.
Enfin la question des synesthésies, relation audio/visuelle et autres généralités sur les noces de l’œil et
de l’oreille est également hors sujet et laissée à l’imagination du spectateur lors de la performance. Les
fonctionnalités de la vue et de l’ouïe sont clairement définies par les scénarios d’usage. La vue hors
temps renseigne sur la composition et les interactions gestuelles possibles, l’oreille fait entendre dans
le temps du jeu le son produit lors de l’interaction avec les objets visibles physiques ou virtuels situés
sur l’interface.
Le statut de l’interprète/joueur
Le statut de l’interprète ou du joueur dépend de l’usage de la musique. Deux situations sont
principalement concernées :
La situation de concert (cf.§2.1), dans laquelle l’interprète connaît bien la partition et maîtrise bien
l’instrument. Son interprétation consiste à faire au cours de la performance des choix de chemins, de
mise en forme et d’expression.
Compte rendu du projet de recherche ENIGMES
p.8
2006-2007
L’interactivité publique 1: Un parcours de découverte intuitif et/ou guidé, une variation autour d’un motif
connu, un jeu musical performatif, un jouet contemplatif…etc
Dans les deux cas, la partition navigable fonctionne comme celles des œuvres ouvertes, c’est-à-dire
qu’une certaine liberté est laissée à l’interprète ou au joueur. Cette liberté est définie et contrainte par
les règles d’interaction. Toutefois le terme de forme ouverte, s’il donne un cadre générique et
historique, renvoie à un champ trop étendu. Pour être navigable, la notation doit obéir à des règles
d’interaction simples pour l’ordinateur et assimilables par l’interprète. Le graphisme doit également être
jouable. Les écritures graphiques ouvertes comme celles de John Cage ou Earl Brown…ne permettent
pas une interaction directe car elles sont conçues pour être lues et le cas échéant pour questionner la
règle même.
Références et différences
Le point de départ de notre travail sur la navigation sonore vient de projets de réalité virtuelle comme
ICARE2. Des expériences préalables au projet « les îles » ont été réalisées dans le cadre du projet
PHASE. Nous avons trouvé peu de références concernant les partitions navigables : souvent les sujets
trouvés sont liés à des questions proches mais différentes: programmation de musique interactive,
algorithmique ou générative, forme ouverte (ou œuvre ouverte), suivi animé automatique, karaoké,
nouvelles notations, graphisme sonore interactif, navigation sonore…etc
Mais rares sont les publications dans lesquelles apparaissent une réflexion générique et un travail de
conceptualisation sur la navigation sonore dans une partition où le support de représentation de la
forme musicale devient également comme espace de jeu. Voici quelques travaux dans lesquels des
questions proches sont abordées : Maquette d’Open Music3 où des actions séquentielles et des
interventions interactives sont possibles, mais dont les objectifs sont le déclenchement et le contrôle
d’événements ou d’algorithmes musicaux au cours de l’exécution d’un morceau. Le logiciel Iannix4
propose une représentation graphique séquentielle de paramètres sonores continus avec très peu
d’interactivité. OTL(PTL)5 est un éditeur de partitions graphiques contrôlant dynamiquement des
paramètres continus sans interactivité. Le logiciel Mimesis6 permet de réaliser des modélisations
physiques animées d’ensemble de masses reliés entre elles subissant des contraintes, ces objets sont
sonores et interactifs, mais ne sont pas conçus comme des notations.
Dans l’article Concurrent constraints models for interactive score7s on trouve une excellente définition de
l’approche temporelle des partitions navigables : « An interactive score is a set of musical objects (such
as notes and events) that are bound with temporal relations. In this set, some events are chosen to be
interactive… ». Il faudrait y ajouter la dimension navigable c’est-à-dire la conduite interactive. Dans le
même article, les auteurs distinguent le processus de composition, au cours duquel la partition
interactive est crée, de la performance au cours de laquelle elle est jouée. S’agissant de musique
électroacoustique, la partition est une interface / transcription réalisée a posteriori par une tierce
personne (designer de partition navigable) dans une perspective définie par l’application.
2.-Glossaire commenté
Domaine d’application
champs de développement dans lequels des projets pourront se développer
Jeux musicaux
Improvisation
Analyse musicale
Outil pédagogique
Dispositif artistique … etc.
1
« Pour ce qui concerne des oeuvres dont l’expérience du public s’inscrit dans le temps de l’interaction, la notion
de partition, perd la linéarité et sa directionnalité traditionnelle, liée à l’interprétation musicale pour gagner en
spatialité, en réversibilité, en multi-dimensionnalités, en ouverture etc. On retrouve ici les vieilles questions de
l’oeuvre ouverte, partition = espace virtuel, actualisé, le temps de l’expérience interactive. » Anne Sedes en
commentaire à la lecture de cet article.
2
Réalité virtuelle I.Chabanaud R.Cahen B.Herblein CICV (19961998)
http://www.ircam.fr/44.html?&tx_ircam_pi2%5BshowUid%5D=3&cHash=1af41e7e66 http://bruno.cicv.fr/boulot/icare/icare2.html
3
http://recherche.ircam.fr/equipes/repmus/OpenMusic/
4
http://iannix.la-kitchen.fr/iannix.html
5
http://dh7.free.fr/otl/PTL_dh20040312.pdf
6
http://www-acroe.imag.fr/produits/logiciel/mimesis/mimesis.html
7
Concurent constraints models for interactive scores Allombert, G. Assayag, Desainte-Catherine, C. Rueda
http://mediatheque.ircam.fr/articles/textes/Allombert06a
Compte rendu du projet de recherche ENIGMES
p.9
2006-2007
Métaphore d’interaction
l’action produite sur l’interface et réaction du dispositif dépend d’un scénario particulier qu’on appelle
métaphore d’interaction. C’est elle qui détermine les fonctionnalités, les causes et les effets du
dispositif.
Scénario d’usage
c’est la raison et la façon dont on utilise le dispositif, ce qu’on fait et ce qui se passe quand on l’utilise
dans son contexte d’usage, par exemple un scénario d’usage courant d’une poignée de porte pourrait
être de saisir la poignée la faire tourner, la tirer ou la pousser…etc.
Sujet de travail
le sujet de travail choisi par un groupe d’étudiants sa définition contient entre autre celle des domaines
d’applications, des métaphores d’interaction, scénarios d’usage…etc
Concepts Musicaux ou de navigation sonore
Notation musicale
écriture symbolique permettant de jouer la musique écrite (a priori)et de retranscrire la musique
entendue (a posteriori)
Transcription musicale
graphisme symbolique permettant de noter a posteriori une musique. Cette transcription peut prendre
des formes différentes afin de mettre en avant certaines caractéristiques. La transcription est une
opération manuelle et qui requiert l’intelligence.
Représentation sonore
image représentant le son ou certaines de ses caractéristiques : forme d’onde sonagramme ; Cette
représentation peut être produite par un dispositif automatique
Représentation musicale
extension de la représentation sonore à la musique, c’est à dire au contenu formel ou symbolique.
Beaucoup plus difficile à réaliser automatiquement que le signal sonore. Il existe des modalités de
représentation musicale
Navigation sonore
La navigation sonore consiste à parcourir une scène dans laquelle sont déployés différents acteurs
sonores interactifs et spatialisés. Le joueur produit par son parcours une composition sonore ou
musicale, résultant de l’organisation temporelle, du mixage et éventuellement de la spatialisation des
interactions sonores avec ces différents interacteurs.
C’est une transposition artistique de notre expérience sonore dans le monde réel. Le joueur peut choisir
librement entre la promenade sur un mode contemplatif - jouer avec les différents comportements
sonores qui lui sont proposés - ou réaliser un parcours personnel expressif ou performant. Il ne s’agit
pas pour autant de mettre à la disposition du joueur un instrument, car cela impliquerait de sa part un
apprentissage important. Le choix du fonctionnement musical de chaque interacteur sonore se rattache
à une métaphore d’interaction qui lui est propre et résulte des fonctions musicales qui lui sont
attribuées dans la composition. Il y a donc construction préalable et plus cette construction est élaborée
et prend en compte le vécu du joueur, plus elle qualifie l’œuvre. Le joueur décide l’ordre de
déclenchement de tel ou tel événement sonore, mais la construction est également déterminée par la
configuration mise à sa disposition par le compositeur. L’espace et le temps gravent chacun leurs
règles. Par exemple, deux interacteurs ne seraient pas percutés en même temps par un avatar unique de
la main du joueur s’ils sont placés à une certaine distance l’un de l’autre. Le temps minimal séparant
ces deux évènements-acteurs sonores dépend ici de la distance qui les sépare comme de la vélocité du
contrôleur. La navigation sonore s’applique à des situations musicales dans lesquelles la métaphore
spatiale offre des paradigmes musicaux non-conventionnels. Ces situations ont une teneur spatiale
fondamentale et ne doivent pas êtres confondus avec de l’illustration sonore d’images, même si le
visuel peut y jouer un rôle important, car si les sons peuvent être plus où moins fortement rattachés à
leur cause ou leur origine, ils n’illustrent rien d’autre qu’eux-mêmes.
Compte rendu du projet de recherche ENIGMES
p.10
2006-2007
III-Les ouvrages
1. XYinteraction : « Piège à Rêves
Un projet de Maurin Donneaud
Marco Marini : compositeur et inerprète
Maria Laura Mendez et Laurent Herbet : graphisme
Aide en programmation : Vincent Rioux, Roland Cahen, Jean-Philippe Lambert
Dispositifs électronique : Interface-z
Maurin Donneaud à travailé dans le cadre de son diplôme en 2005 sur une grande interface gestuelle
digitale pour la musique électronique sur scène. Dans le cadre du projet ENIGMES, nous avons souhaité
lui proposer de poursuivre son expérimentation dans plusieurs directions :
1-
Aboutir à un prototype fonctionnel à l’échelle 1
2- Travailler avec un compositeur et un interprète afin de se confronter à la réalité de la
construction musicale et du concert
3- Intégrer une dimension graphique au dispositif dans la perspective de la partition navigable.
L’interface « piège à rêves » constituait en effet une excellente plateforme pour l’exploration de surfaces
graphiques jouables et posait la question passionnante de leur perception par le public lors de la
performance. (cf. chap. IV.6)
Compte rendu de fin de recherche par Marco Marini Compositeur (04/04/07)
Invité par l’ENM de Pantin à participer au projet « Enigmes » de l’ENSCI, je collabore depuis septembre
2006 à l’élaboration de l’interface textile « Piège à Rêves ». Cette collaboration réunit autour de Maurin
Donneaud (concepteur de l’objet avec Vincent Rioux), Roland Cahen, responsable artistique du projet,
Laurent Herbert et Maria Laura Mendez Marten, graphistes, Jean-Philippe Lambert, programmateur et
moi-même, compositeur.
Dans le rapport qui suit, je dresse le bilan prospectif de cette recherche en ma qualité de musicien
compositeur et interprète du « Piège à rêves ». Ce rapport se décline en quatre parties, ordonnées de
manière chronologique afin de pouvoir en suivre l’évolution. La première partie présente le compterendu du workshop et les postulats de départ. La seconde partie donne le calendrier des évolutions. Y
figurent les différentes étapes par dates et l’état d’avancement technique correspondant. La troisième
partie dresse le bilan prospectif de l’état actuel du « Piège à Rêves ». Elle exprime également quelques
souhaits et développements imaginés. Pour finir, je livre dans la quatrième partie mes impressions
personnelles du point de vue du compositeur ainsi que de celui de l’interprète.
A. Piège à Rêves : L’univers sonore et la création musicale
Compte-rendu du workshop Enigmes du 25 au 30/09/06 à l’ENSCI
Les modalités
Une réflexion collective autour du nom « Piège à rêves » de l’interface de Maurin nous a
conduits à imaginer ce que devraient être les modalités entre partition et interface, desquelles il serait
possible de décliner par la suite un processus de composition. La métaphore implicite du titre nous a
suggéré dès le départ un rapport dont les objets musicaux (le contenu) figureraient les rêves, et la
partition (le contenant) le piège.
Le concept de partition navigable offrant un objet hybride, mi-partition, mi-instrument, celle-ci devrait
permettre la liberté d'interprétation d'un matériau sonore décidé au préalable et fixé sur elle, à l’aide
d’un instrument-interface sur lequel elle serait notée.
Elle devrait spécifier tous les éléments et modes de jeu possibles de manière explicite pour l’interprète
de lecture. Elle devrait être lisible et interprétable par absolument tout le monde et en toute
Compte rendu du projet de recherche ENIGMES
p.12
2006-2007
subjectivité. Elle devrait également inviter l’observateur de l’œuvre graphique sérigraphiée sur la toile à
devenir un interprète de lecture sonore des détails du tableau observé.
Le processus de composition
Une fois ces modalités posées, le processus de composition a consisté à élaborer un univers
sonore et musical cohérent dont tous les éléments sont fixés, et donnant lieu à une partition ouverte,
c’est-à-dire jouable au gré de l'interprète de lecture, sans prédétermination aucune quant au
déroulement temporel des événements. Le début, les enchaînements, la fin, et le choix des objets
musicaux sont à l’initiative de l'interprète de lecture.
Toute interprétation doit donner un résultat musical qui soit en accord avec l'intention du compositeur,
d'où la nécessité qui s’est imposée de cohérence du matériau d’une part, et d'importance de notions de
couleur et d’univers sonore (du rêve) d’autre part. L’intention du compositeur se situerait principalement
au niveau du choix sélectif des objets musicaux en veillant à ce que ceux-ci soient jouables
simultanément et séparément de toutes les façons possibles. Un ensemble d’objets musicaux ayant une
appartenance à une couleur générale, un univers commun, sons d’un seul et même instrument au
service d’une unique partition, et non collection de samples destinés à un lecteur d’échantillons.
Le choix des matériaux
Il convenait tout d’abord d’avoir une variété de sons de différentes morphologies, allures,
timbres et durées en nombre suffisant pour développer et entretenir un discours musical.
L'interface de Maurin proposant un rapport de jeu gestuel et tactile, ces deux aspects pouvaient
devenir des critères. De plus, ces sons seraient dessinés et auraient chacun leur représentation
graphique sur la toile. Tout comme les notions de couleur, ces critères nous ont orienté dans la
cohérence du choix des objets musicaux. D’une part vers des objets musicaux inspirant à l'écoute une
gestuelle intuitive dont la dynamique est tracée par l'allure du son. Des sons bien dessinés dont la
représentation graphique naît dans le geste (chutes, éparpillements, agitations, explosions, trajectoires,
passages...). D’autre part, le rapport tactile avec le tissu a suggéré des critères de grain (objets
granuleux, rugueux, élastiques, frottés, lisses…)
Nous avons estimé avoir besoin d’une trentaine de sons pour une partition. La partition actuelle
contient 22 sons.
Il s’agit pour l’essentiel de traits, de motifs et de phrases, représentés et rejoués selon un
déroulement temporel. D’autre par nous utilisons également des continuums ou des fonds représentés
par des textures tramées atemporelles. Nous distinguons donc entre les figures et les fonds autant sur
le plan sonore que visuel.
La forme musicale
À ce stade se profilait la question de la forme musicale de la composition. Lors d’une séance
d’écoute de l’ensemble des matériaux, Roland Cahen nous a fait la proposition de la forme figures sur
fond car les objets lui suggéraient des figures. Cette proposition s’est révélée très pertinente car elle
fournissait le liant en termes de couleur, d’univers sonore et d’épaisseur, par l’ajout d’un espace tramé.
Aux 18 figures furent ajoutés 4 fonds. Ces fonds devaient pouvoir tourner en boucle dans des régions
délimitées sur la toile et satisfaire à l’ensemble des figures. Ils pourraient également se superposer pour
être joués simultanément.
Un premier montage d’environ 5 minutes sur Protools a permis de vérifier la cohérence d’univers des 18
figures et des 4 fonds. Ce montage donne également une idée d’une interprétation possible de la
partition. Celle-ci s’est révélée homogène et en accord avec les postulats de départ.
La partition
La partition a posé d’emblée le problème de l’échelle temporelle à adopter pour permettre la
lecture des signes notés. Cette échelle temporelle de lecture étant déterminante quant aux possibilités
d’interprétation, nous avons imaginé et retenu les deux échelles suivantes :
L‘échelle temporelle méso, c’est-à-dire celle de l’articulation des objets. (Toucher un objet déclenche sa
lecture au début du son.)
L’échelle temporelle micro c’est-à-dire de la matière sonore des objets.(Possibilité de se servir de son
doigt comme tête de lecture, grâce à un lecteur granulaire {Grainplayer})
La représentation graphique des objets sur la partition répond à des critères d'allure, de morphologie,
et de durée et indique leur positionnement sur la partition. Ce repérage physique indique à l'interprète
où se trouvent les objets musicaux (figures et fonds) sur le support-partition sans lui indiquer quand les
jouer, ni dans quel ordre et donne une information de localisation spatiale cohérente de la composition
interne de chaque échantillon. La représentation horizontale fournit des indications sur le comportement
du son dans sa durée. L’axe vertical, des indications de hauteur, de tessitures. L’épaisseur du trait, des
Compte rendu du projet de recherche ENIGMES
p.13
2006-2007
indications d’amplitude. Il s’agit d’une représentation graphique subjective, inspirée par celle du
sonagramme. Elle est intermédiaire entre une représentation symbolique et une représentation
technique en ce qu’elle permet à la fois un repérage précis dans la matière sonore et qu’elle réduit
l’information visuelle au minimum utile pour l’expression de interprète.
La première version de la partition proposait une répartition verticale en 4 bandes, du grave (bas) à
l’aigu (haut) en passant par bas médium et haut médium. Ces quatre bandes permettaient de disposer
verticalement les objets sonores en fonction de leur tessiture. Cette répartition a été abandonnée pour
les limitations qu’elle présentait notamment au niveau gestuel.
La question de la partition finale et/ou idéale de cet objet demande encore des concertations
entre les aspects musicaux, graphiques et programmatiques avant d’arriver à une partition qui prenne
en compte tous les aspects concernant critères de sons et modes de jeux et l’indique de manière
explicite sur la toile. Il conviendra au final de définir le degré d’écriture de la partition (entre autoritaire
et laxiste) et de distinguer les indications précises qui y seront notées.
B. Piège à Rêves : Calendrier des évolutions
30/09/06 : Présentation de fin de workshop à l’ENSCI, 48 rue St. Sabin, Paris XI° :
À ce stade, un seul son en mono permettait d’expliquer le processus de reconnaissance de gestes. Ce
processus était assuré par un patch programmé par Maurin Donneau dans le logiciel Pure Data. La
composition musicale était quasiment achevée et donnée à entendre par le biais d’un montage de 5mn
sur le logiciel ProTools. A l’exception de 2 sons, tous les autres avaient leur représentation graphique,
et la partition était rétro-projetée sur écran.
07/09/06 : Présentation du projet « Enigmes » au Cube, 20 cours St Vincent, Issy-les-Moulineaux :
Des problèmes techniques liés à l’interface MIDI ont empêché le fonctionnement de la toile. Roland
Cahen avait programmé un patch dans le logiciel MAX-MSP dotant ainsi l’interface d’un Grainplayer. La
partition était sérigraphiée sur la toile. Le « Piège à Rêves » apparaissait ainsi dans sa version
graphique, donnant à voir la partition sur une toile d’1,5m2.
11/01/07 : Performance à l’OpA bar, 9 rue Biscornet, Paris XII° dans le cadre d’une soirée organisée par
le label parisien LEEP :
Première représentation scénique avec l’interface. Roland Cahen nous a apporté une amélioration
importante pour l’interprétation : la gestion du volume (intensité) des sons sur l’axe vertical des y. Un
Compte rendu du projet de recherche ENIGMES
p.14
2006-2007
potentiomètre linéaire a été rajouté à chaque fond afin d’en régler individuellement l’intensité. La toile
contenait 20 sons (4 fonds et 16 figures) en version mono. L’éclairage fut en contre avec des projecteurs
au sol, inclinés et gélatinés en bleu.
10/02/07 : Présentation du projet « Enigmes » aux portes ouvertes de l’ENSCI, 48 rue ST Sabin, Paris
XI° :
Seconde improvisation dans des conditions similaires. La toile comportait 22 sons en version stéréo (les
2 sons manquants ont été rajoutés et disposés sur la périphérie de la toile sans graphique
correspondant, un son a été supprimé et remplacé par un autre.)
20/03/07 : Performance dans le cadre d’un concert de la classe de composition électroacoustique de
Pantin, Auditorium, 42 Avenue E . Vaillant, Pantin :
Troisième interprétation avec 22 sons en stéréo et spatialisation sur acousmonium (orchestre de hautparleurs) par Maria Léon-Petit. Eclairage similaire.
C. Piège à Rêves : L’interface textile
Le « Piège à Rêves » de Maurin Donneaud est incontestablement un instrument permettant de jouer des
musiques électroacoustiques ou électroniques. Plus qu’une simple interface, il représente une
alternative à la question récurrente que se posent les compositeurs électroacoustiques quant à la notion
de concert. Il donne à voir et à entendre et possède cet aspect didactique apporté par la relation directe
et instantanée entre toucher, voir et entendre. Parmi les nombreux retours du public, nous retenons
entre autres, les notions de peinture, gestuelle, chorégraphie, « marionnettiste de sons », et surtout
celle d’un objet « qui fait rêver »… On peut s’interroger sur ce « qui fait rêver », le public étant face à
un écran et en situation de sentir la présence très proche de l’interprète. Sur cet écran, il visualise dans
un (presque) parfait synchronisme ce qu’il entend.
Je vais m’appuyer sur ces retours pour décliner mes impressions personnelles en tant qu’interprète et
compositeur.
La position spatiale de l’interprète
La position derrière la toile est celle du marionnettiste manipulant à vue des objets en étant lui-même
dissimulé à la vue du spectateur. Quoique cachée, il s’agit d’une position qui est face au public et qui
permet de l’entrevoir par effet de transparence du tissu, mais surtout de ressentir sa présence, car la
vue est tout de même « occupée » par la partition. La situation particulière de la présentation du
10/02/07 (ENSCI) a permis au public d’assister à la performance des deux côtés de la toile, par la
présence d’une baie vitrée et d’un trottoir dans mon dos. Il paraît évident que cette double perspective
présente un aspect supplémentaire pour l’audience : celui de voir le « faire » et par là même de
comprendre. Mais cela n’enlève-t’il pas un peu de magie dans la part « qui fait rêver » ?
Je peux affirmer pour ma part avoir joué pour le public face à moi et n’avoir (bizarrement) pas du tout
ressenti la présence du public dans mon dos (séparation vitrée ?). Toutefois, cette double perspective
n’étant pas à écarter, il est envisageable d’imaginer :
- Un dispositif dans lequel le public serait installé en cercle et la toile positionnée au centre de celui-ci.
- Un dispositif muni d’une caméra qui filmerait l’interprète de dos avec projection simultanée de l’image sur un
écran, une télévision ou une autre interface textile.
Dans tous les cas, la relation intrinsèque au positionnement interprète-audience est à prendre
en compte pour le confort de tous. « Piège à Rêves » se présente comme un instrument de musique. Il
me semble difficile d’en jouer dos au public, à la manière d’un chef d’orchestre . Le parti pris actuel
m’apparaît comme idéal.
La position corporelle de l’interprète
L’interface se présente comme un écran textile d’1,5m2, positionné verticalement à environ 50cm
du sol. Elle se joue principalement debout, mais également accroupi, voire à genoux. La partition est
appréhendée dans son ensemble, et non dans les détails de son déroulement temporel, ce qui
monopolise la vue d’une manière relativement passive. C’est principalement l’oreille qui renseigne sur le
choix des objets et qui guide l’improvisation. L’œil évalue les distances entre les régions de la toile et
renseigne sur les déplacements à effectuer. Certains mouvements peuvent être le fruit d’une impulsion
corporelle, ce qui m’amène à préciser ce point, car la notion de gestuelle participe autant à l’impression
évoquée de peinture que de celle de chorégraphie.
La gestuelle de l’interprète
Tenter de décrire une typologie simple des mouvements gestuels me conduit à les classer selon
deux types d’attitude corporelle : L’attitude du peintre, relative à l’échelle temporelle micro et l’attitude
du danseur, relative à l’échelle méso. Ces deux attitudes proposent des gestuelles fort différentes. Elles
Compte rendu du projet de recherche ENIGMES
p.15
2006-2007
sont toutes deux également attitudes du musicien.
L’attitude du peintre
Les possibilités de lecture (et donc de jeu) offertes par le Grainplayer permettent à l’interprète de
parcourir le graphisme dans les deux sens, à deux dimensions, et à vitesse variable. Il permet aussi
l’arrêt sur son. L’axe des x permet d’ explorer le son dans sa durée, l’axe des y d’en varier l’intensité
(volume sonore). Ce jeu s’exprime par une gestuelle digitale similaire à celle d’un dessinateur, mais
également à celle d’un pianiste, par l’utilisation des dix doigts pour jouer des échantillons différents
d’un ou plusieurs sons physiquement proches sur la toile. Ce mode de jeu très rapproché avec le tissu
est en rapport direct avec trois paramètres dont il faut encore à ce jour ajuster les réglages pour
parfaire les possibilités d’interprétation.
- En premier lieu, le rapport tactile avec le tissu conditionne la position des mains et des doigts
(par extension des bras et du corps). Le tissu se révèle pour l’instant être une matière rêche qui brûle la
peau à l’usage. Il est tout à fait imaginable d’utiliser d’autres tissus (feutre…) et d’autres techniques
d’impression (transfert…), mais ce point particulier ne représente pas de problème en soi. Bon nombre
d’instruments de musique à cordes et à peaux nécessitent un entraînement minimum nécessaire à la
formation d’une corne qui protège des brûlures et ampoules occasionnées par leur pratique.
Au stade expérimental de ce jour, j’utilise principalement l’ongle pour jouer une note précise, le bout
des doigts pour jouer de manière « percussive », l’index plié ou l’adjonction de plusieurs doigts pour
les gestes plus amples.
- En second lieu, le temps de réaction et la qualité de réponse du système. Chaque
représentation publique de « Piège à Rêves » a été réalisée dans des conditions techniques différentes
(ordinateur, interface MIDI , carte son et système audio à chaque fois différents). Ceci nous a permis de
vérifier indépendamment les défauts techniques à améliorer, mais également les conditions techniques
requises pour un bon fonctionnement du matériel. En guise de conclusion de ces expériences, on ne
peut que souhaiter avoir un matériel qui soit dédié à l’interface, et qui soit toujours le même, à savoir :
Un ordinateur (portable) dans lequel le logiciel MAX-MSP d’installé et de puissance de processeur et
RAM suffisantes pour pouvoir exploiter le patch en stéréo ; une carte son dédiée au système de 2
entrées/2sorties minimum ; une interface MIDI de bonne qualité.
- En dernier lieu, le système audio. L’improvisation étant essentiellement basée sur l’écoute, celle-ci doit
être de qualité et d’une puissance appropriée à l’acoustique et aux dimensions de la salle. Les
représentations des 11/01 et 10/02/2007 disposaient dans le patch d’une réverbération logicielle sur
l’ensemble des figures de la partition. Ceci avait pour effet d’adoucir la chute du son en le prolongeant
par une petite queue à la pente décroissante. La représentation du 20/03 n’en disposait pas. Les sons
avaient un arrêt brusque, une chute du son très raide et rapide. Les possibilités offertes par ces deux
options nous ont amené à imaginer contrôler la réverbération par une pédale d’expression. Ce
paramètre serait ainsi ajouté à ceux de l’interprétation.
L’attitude du danseur:
L’attitude du danseur doit permettre une gestuelle que je n’ai pas pu expérimenter de manière
approfondie. Mes expérimentations m’ont permis de comprendre que cette attitude gestuelle était
directement liée à la disposition des sons sur la toile. La partition actuelle n’étant pas achevée, un
temps d’expérimentation sera nécessaire à déterminer avec précision la disposition idéale des sons sur
la toile. La notion d’amplitude du geste est un paramètre primordial à prendre en compte dans
l’élaboration de la partition finale. L’échelle de représentation des sons (leur taille sur la toile) présente
également son importance. Quelques ajustements seront nécessaires pour proposer une gestuelle plus
ample.
La question de l’échelle temporelle de lecture est le second point important à prendre en
considération à ce niveau. Le Grainplayer induit une gestuelle assez statique. Il serait souhaitable de lui
adjoindre un simple player permettant la lecture du son une seule fois, dans sa durée totale et à sa
hauteur d’origine par simple déclanchement de type interrupteur. On peut également imaginer des
régions (rectangles) dans lesquelles les objets pourraient être lus à des hauteurs différentes en fonction
de l’endroit appuyé. Ce type de player devrait permettre à son tour de développer l’amplitude gestuelle,
car il ne nécessite pas d’être « collé » à la toile pour produire du son.
L’organisation actuelle de la toile présente des disparités en fonction des régions observées. La
partie inférieure du carré propose des possibilités de jeu micro (attitude du peintre accroupi). J’ai essayé
de grands gestes circulaires pour tenter de jouer des « boucles ». Cette piste paraît très intéressante,
mais elle exige une disposition des sons très étudiée, ce qui n’est pas le cas actuellement. Aller plus
avant dans cette relation entre partition et gestuelle demande à préciser également les types de sons
et leurs fonctions musicales
Les types de sons et leurs fonctions musicales
Les Fonds:
Compte rendu du projet de recherche ENIGMES
p.16
2006-2007
Déclenchés par pression de la main, paume ou doigt, les fonds sont disposés verticalement sur la partie
gauche de l’écran. Ce positionnement semble tout à fait convenir à l’organisation de la partition. Ils
peuvent être déclenchés par des mouvements amples, mais lents. Leur départ/arrêt demande encore
quelques réglages. Lorsque plusieurs fonds tournent en boucle simultanément, il est très malaisé pour
l’interprète de savoir avec précision lesquels sont en lecture. Nous avons imaginé avec Maurin rajouter
des leds (petites lumières) sur le bord du cadre, lesquelles permettraient de palier à ce problème en
s’allumant/éteignant en synchronisme avec le déclenchement des fonds.
Les fonds ont la valeur musicale d’accords, simultanéités, et variations multiples contenues dans leur
morphologie de trames. Ils permettent à la fois une gestion polyphonique avec les formes et des temps
de « pause gestuelle » de la part de l’interprète en laissant se dérouler le continuum sonore qu’ils
proposent. Les fonds induisent un temps particulier : celui du déroulement de leur boucle (environ 1 et
2 minutes).
Les Formes à hauteur repérable ou à variations de hauteur:
Ce type de sons permet de jouer des textures à profil mélodique, voire des mélodies. Le Grainplayer en
est l’outil adéquat. Ces objets permettent de construire un discours musical en relation avec le champ
des tessitures. Les sons contenant des notes à hauteur fixe peuvent être joués par simple pression pour
en jouer individuellement des notes brèves. Ils peuvent également être tenus (pression maintenue sur la
toile) pour créer des motifs, tenues de notes, transitions ou pour enrichir une trame.
Les Formes bruitées:
À l’instar des précédentes, elles permettent de construire un discours musical en relation avec la
matière sonore par les mêmes procédés de lecture. Elles ont également fonction de percussions. Elles
sont alors jouées à la manière d’un pianiste (rapport très serré avec la toile) ou d’un percussionniste
(rapport plus ample). Leur positionnement sur la partition influera sur l’amplitude du geste.
Les possibilités de jeu étant relatives au Grainplayer, il semble aller de soi que l’adjonction d’un player
simple multipliera les relations entre types de son et fonctions musicales. La possibilité de variation de
hauteur de lecture élargira de même les possibilités d’interprétation dans le champ des tessitures.
D. Piège à Rêves : Considérations personnelles
le projet ENIGMES et « Pièges à Rêves » se révèlent une aventure très riche, motivante et
prometteuse. Ce travail de collaboration m’a permis d’avancer dans mon travail personnel. En guise de
conclusion de ce rapport, je terminerai par des considérations personnelles du point de vue du
compositeur ainsi que de celui de l’interprète.
Du point de vue de la composition, la question du temps a présenté l’angle de réflexion principal.
Vouée à une partition et un instrument à la fois, la composition se devait dès le départ être ouverte à
de multiples interprétations. Le temps, en grand régulateur des évènements, se devait d’être écarté. En
premier lieu, en supprimant toute idée d’ordre temporel et donc de parcours à effectuer. En second lieu,
en supprimant la notion de durée des objets par leur lecture granulaire. En troisième lieu, en accordant
un temps totalement subjectif aux objets musicaux par la création d’un univers sonore cohérent. Les
sons qui se sont révélés non cohérents avec l’univers global (au nombre de 3) semblaient en effet ne
pas appartenir au même temps (à la même époque) que les autres. Enfin, la forme figures sur fond a
permis de proposer également un temps synchrone au temps de lecture des fonds, qui proposent
instantanément le temps de leur déroulement, et permettent une « suspension temporelle ».
Au terme des trois improvisations, il m’importait d’avoir réponse à une question capitale que je me
réservais jusque-là: « S’agissait-il de 3 interprétations différentes de la même composition, ou de 3
improvisation sans autre rapports que le même répertoire d’origine ? » La question fut donc directement
posée à 3 personnes ayant assisté aux différentes performances. La réponse fut unanime quant à 3
interprétations de la même composition. Le postulat de départ semble se vérifier.
Ces investigations me motivent à poursuivre la recherche en appréhendant cette question du temps
d’une manière différente. Non plus en terme d’absence, mais de variations. Je souhaiterais travailler à
une nouvelle partition –une fois celle-ci achevée- qui soit rythmique (technoïsante) et contienne des
patterns à tempi fixes, et dont le jeu répondrait à une reconnaissance de gestes correspondant à un
répertoire établi de comportements. Tracer un cercle sur la toile , par exemple, signifierait changement
de pattern, ou de tempo, ralentissement, accélération… L’intérêt d’une telle recherche est augmenté par
son caractère pluridisciplinaire, les aspects concernant composition musicale, représentation graphique
de la partition et interprétation gestuelle étant étroitement liés et interdépendants.
Du point de vue de l’interprète, je ne peux affirmer à ce stade avoir réussi à développer une manière
exhaustive de jouer cet instrument. Les différents aspects déclinés ci-avant font du « Piège à Rêves » un
objet pour le moment relativement imprévisible. Les améliorations envisagées en feront un instrument
plus réactif et plus riche au niveau des possibilités d’interprétation. J’ai abordé cet instrument sous
l’angle de l’improvisation et ce en fonction des différents problèmes techniques rencontrés à chaque
fois. Les séances de finalisation de l’objet devraient me permettre de fixer certaines gestuelles de
manière plus étudiée. « Piège à Rêves » est destiné à tourner sur scène, c’est du moins le souhait que
Compte rendu du projet de recherche ENIGMES
p.17
2006-2007
nous en exprimons. En tant qu’interprète privilégié de cet instrument, je suis très motivé à intervenir
sous forme de performances de 10 à 15mn (30mn avec 2 partitions) afin de promouvoir l’objet. À ce
titre, j’exprime le souhait de disposer d’un instrument complet, stable et transportable.
Pour conclure ces considérations personnelles, j’ajouterais que c’est une expérience tout à fait inédite
pour ma part que de pouvoir ainsi parcourir dans tous les sens une composition que j’ai achevée. Cela
me procure le sentiment de voyager à la fois dans le temps et dans l’œuvre. Je retrouve certaines
sensations proches de celles du compositeur « essayant », « expérimentant », « improvisant » ses
objets sonores avant de les fixer définitivement. La différence (de taille) est que le temps de
l’improvisation est soumis au flux temporel en déroulement. La flèche du temps interdisant tout retour
en arrière, ces expérimentations ne peuvent bénéficier de l’écoute sélective permise par les actions
Stop/Retour/Réécoute qui orientent les choix du compositeur et valident ses décisions.
Prochaines dates prévues : Performances les 29 et 30 juin dans le cadre du festival « Emil Treize »
(Musiques improvisées) MJC Lillebonne, Nancy (54).
Marco Marini (Avril 2007)
Ma tâche au sein du groupe consistait à travailler sur la partition navigable et sa mise en forme sur la
toile.
Le but ce de cette recherche étant de laisser l’usager composer et interpréter de façon intuitive.
Nous avons étudié l’ensemble de sons que Marco Marini nous a donnés.
Un son a des couleurs, des textures un caractère.
Nous avons donc décidé de définir des caractéristiques graphiques pour chaque son afin pouvoir les
représenter graphiquement sur la toile.
Compte rendu du projet de recherche ENIGMES
p.18
2006-2007
À l’écoute successive des sons, nous les avons nommés, puis défini leur allure, leur douceur ou rigidité,
leur grain, leurs couleurs…Nous avons donc transformé leur texture sonore et leur dynamique musicale
en éléments graphiques.
Nous avons procédé de la même façon pour dessiner l’ensemble des sons.
Tout d’abord une recherche avec encre de chine sur papier avec différents outils : pinceau, papier
froissé, éponges, fil de fer, éléments en métal, bois, plastique…
Une fois le dessin fixé, nous avons numérisé les différentes représentations graphiques et nous les
avons préparées pour une sérigraphie sur tissus.
La disposition des dessins dans l’espace de la toile était inspirée en partie des premières propositions
de composition que Marco nous a fait écouter.
Le choix du tissu s’est fait en accord avec le souci de transparence pour permettre une visibilité de la
musique et du geste des jeu. C’est pourquoi nous avons imprimé sur un tissu translucide qui laisse voir
l’autre coté de la toile, comme les pièges à rêves.
L’usager peut composer librement, tout en ayant quelques repères dans l’espace de la toile.
Maria-Laura Mendez (design graphique)
Compte rendu du projet de recherche ENIGMES
p.19
2006-2007
2.FEUILLAGE
Un projet de Katalina Quijano et Matthieu Savary
Musique Eric Broitmann
Assistance et encadrement technique : Anne-Catherine Milleron
(dev VirChor v.1) Benoit Montigné (dev Flash v.2)
Design Interaction et développement Matthieu Savary, Zeev Zohar, Emmanuel Debien
Le projet Feuillage s’inscrit d’une façon centrale dans ENIGMES. Il s’agit de travailler sur la partition
temporelle d’une musique électroacoustique représentée en 2D. Dans ce travail en effet se posent un
nombre sans aucun doute trop important de questions que nous sommes loin d’avoir résolues. Le
projet n’a pas aboutit à une version finalisée, sans doute du fait ne n’avoir pas voulu couvrir trop de
choses. Néanmoins les nombreuses esquisses et réflexions ont convergées vers une articulation
significative des concepts fondamentaux de ce projet.
La métaphore de l’arbre
Lors de la phase définition de projet Catalina Quijano, graphiste et étudiante du Mastère Multimédia
Interactif de l’ENSCI a proposé l’image d’un arbre garni de feuilles considérant chaque feuille comme un
événement sonore et chaque branche comme un chemin possible.
Compte rendu du projet de recherche ENIGMES
p.20
2006-2007
Catalina Quijano a choisi pour commencer quelques formes de base pour les feuilles : rectangles,
triangles et disque. Pour chacune de ces forme elle propose également une importante gamme de
matières graphiques réalisés à partir de photos et rangées par couleurs.
Esquisse en 3D
Une première esquisse interactive en 3D a été réalisée par Ane Catherine Milleron dans Virchor, le son
étant joué dans Max/MSP sur une deuxième machine reliée via OSC. Mais ce projet s’est révélé trop
lourd et a été abandonné. Toutefois la variante de la métaphore de l’arbre développée à cette occasion
s‘est révélée intéressante ; il s’agit d’un mobile, à la façon de Calder. Le principal problème rencontré
était que le comportement en partie autonome du mobile nous éloignait de la pièce originale pour un
processus aléatoire relativement redondant. Le double mouvement de la navigation avec le curseur de
la souris et du mouvement autonome du mobile posait également des problèmes : difficulté de
repérage précis accentuée par la latence des échanges de donnée et de la fréquence de rafraîchissement
de l’image, …
Navigation libre – parcours contraint
Maquette libre
Une maquette interactive en Flash de l’ensemble de la pièce avec un nombre réduit de chemins
privilégiés indiqués par une branche, choisis d’un commun accord entre la graphiste et le composteur a
été réalisé. La navigation qui se fait à la souris est néanmoins totalement libre. Il suffit de survoler une
feuille pour déclencher le son associé. Cette maquette a été réalisée pour le diplôme de Catalina. A
l’usage, on constate assez vite une certaine lassitude de devoir suivre le fil conducteur à la souris qu’on
finit par agiter à droite à gauche pour voir ce que ça fait, ce qui a pour effet de perdre le fil conducteur
musical (attitude constatée chez différents utilisateurs)
Maquette contrainte
Compte rendu du projet de recherche ENIGMES
p.21
2006-2007
Matthieu Savary qui a repris la conception à partir de ce moment du projet(septembre 2006), a donc
décidé d’imposer un fil conducteur unique et contraignant et de ne donner qu’une liberté relative au
joueur de s’en écarter. Ce choix l’a amené à définir des règles de navigation plus strictes et à
reconsidérer les modalités d’usage du dispositif, les aspects graphiques et la plateforme logicielle.
Le fil conducteur
Le concept de fil conducteur en musique désigne généralement ce qui permet à l’auditeur de se repérer
dans le temps d’une œuvre. Il implique généralement une certaine unité de contenu, une évolution ou
une articulation perceptible. Dans la métaphore de l’arbre comme dans la métaphore du sillon du projet
PHASE8, le fil conducteur est la ligne du temps, représentée visuellement et considérée comme la route
canonique de l’interprétation. Dans le cas d’une musique électroacoustique comme ici la pièce d’Eric
Broitmann, ce fil conducteur ou chemin correspond à la réalisation plus exacte possible de la
composition créée en studio, c’est à dire le positionnement scrupuleux des évènements sonores sur la
ligne de temps. On peut essayer de suivre le guide au plus près ou décider de s’en écarter. Plus on s’en
écarte donc, plus on s’éloigne de l’œuvre originale. La question principale étant de définir la
signification précise de ces éloignements et leur fonctionnement. Il faut entre autres choses définir si il
existe des évènements en dehors du chemin à quoi correspondent-ils, pourquoi et comment sont-ils à
l’écart du chemin ?…
Composition, décomposition et recomposition
Eric Broitmann a commencé à composer à partir d’un corpus sonore comportant 3 familles de sons très
repérables correspondant aux matières visuelles proposées par Catalina Quijano. Des sons toniques
aigus filés, des sons bruités type froissement et des impulsions toniques répétées comme en écho. La
composition a été ensuite affinée puis finalisée dans Pro Tools9, comme une pièce électroacoustique de
concert. Nous disposions donc d’une version complète de la pièce et de la cession pro tools indiquant
la distribution des voix, la position temporelle des évènements sonores, leur durée et leur contenu.
Dans une deuxième temps, la décomposition, nous lui avons demandé d’extraire toutes les unités
sonores significatives et de nous fournir un tableau Excel contenant la liste des unités sonores avec leur
time code. Il a fallu bouncer (réenregistrer) chaque unité avec un volume moyen, une panoramique
légèrement recentrée, une attaque repérable, …etc. Dans un troisième temps, la recomposition, nous
avons essayé de reconstruire la pièce de façon logicielle afin de reproduire au plus près l’œuvre
originale. Bien sûr on ne peut plus l’entendre alors qu’en la jouant dans l’interface de navigation. Il faut
reconnaître que pour le moment, noue sommes encore trop loin de l’œuvre originale pour pouvoir crier
victoire, ceci étant du essentiellement à la lourdeur du développement logiciel actuelle. La méthode est
encore trop frustre, approximative et fastidieuse. Il faudrait pouvoir récupérer directement les régions
depuis Pro Tools par exemple via un format d’échange style OMF et rejouer dans une logiciel où le
timing des évènements est garanti ce qui est loin d’être le cas dans Macromedia Flash ou l’occurrence
d’un événement est totalement dépendant des processus en cours (cf. plateforme logicielle plus bas).
Comportements graphiques et sonores des évènements
La façon dont chaque événement visuel et sonore se manifeste au cours du jeu est fondamentale pour
l’interprétation. C’est ce que nous appelons les comportements ou modalités d’interaction. (cf. chap.
V.2. notions d’interactions sonores). Le visuel statique des évènements sert à reconnaître l’événement, à
le repérer dans le temps et dans sa proximité avec autres évènements, mais il peut également porter
d’autres fonctionnalités comme nous le verrons plus bas (cf. projet d’interprétation collaborative).
Comportements visuels
L’animation visuelle a pour principale fonction de désigner l’événement joué tant qu’il est joué (par
exemple par une sur luminescence ou une animation de l’icône). Mais également, nous avons imaginé
d’autres fonctions : des fonctions purement graphiques, des suggestions de liens avec d’autres
évènements et ce que nous avons appelé les évènements nichés. Il s’agit de sorte de réservoirs (au
sens ou on l’entend dans les partitions instrumentales du XXème siècle), c’est à dire un sous ensemble
d’événement qui se déploie lorsqu’un événement niché est activé.
Comportements sonores
Nous avons réduit les comportements sonores pour les rendre opérants par rapport au mouvement en
2D. Il existe donc principalement (a) un comportement d’attaque, lorsque le curseur approche et
déclenche l’événement sonore, (b) un comportement pendant ou dedans tant que le curseur est sur la
forme visuelle de l’évènement et (c) un comportement de chûte, fin du son et sortie de l’icône. Pour
chaque événement, les paramètre gestuels de début (a) dont nous disposons en entrée du dispositif
8
Projet PHASE Ircam 2004-2005 dans lequel nous avons pu explorer différentes métaphores de navigation dont
celle du sillon de vinyle comme un guide ou fil conducteur.
9
Logiciel de composition et post production sonore de la marque Digidesign standard dans le domaine
audionumérique
Compte rendu du projet de recherche ENIGMES
p.22
2006-2007
sont l’instant du contact avec l’objet visuel, la vitesse d’approche à l’instant du contact (vitesse
d’impact), l’angle d’attaque par rapport à l’axe visuel du temps (ici le temps est rarement une droite).
Les paramètres pendant (b) sont, tant qu’on est dedans, la position à l’intérieur de la forme
(coordonnées par rapport à l’axe du temps, coordonnées cartésiennes normalisées dans les limites de
l’objet ou coordonnées polaires par rapport au barycentre de l’objet). Les paramètres de fin (c) sont
l’instant de la sortie de l’objet, la vitesse et la direction au moment de la sortie. Enfin nous connaissons
la l’orientation du barycentre de l’objet par rapport au curseur , nous avons choisi de mapper ce dernier
paramètre sur la panoramique et de le contrôler en temps réel pendant toute la durée de l’événement
(plus précisément sur une dérive de la balance car nous sommes en stéréo). Nous avons choisi de
mapper la vitesse d’impact sur l’intensité d’attaque et la direction sur une modification du timbre (ici un
mixage entre trois variantes Left Center Right : filtrage, modulation, bender en fonction des sons). Tant
qu’on est dans l’objet on le joue avec ses variantes mixées en temps réel par rapport à l’axe du temps.
En quittant l’objet, la vitesse définit la durée de la chute (release).
Modalités de navigation
Vitesse fixe ou mobile
La question de la régularité du mouvement est absolument fondamentale dans les systèmes de
navigation sonore, d’autant qu’elle est problématique eu égard au fait que la vitesse du mouvement
modifie le tempo et détermine le rythme. Les tempi élastiques sont rarement appréciés car ils donnent
le plus souvent l’impression d’hésitations. Il est donc essentiel soit de fixer la vitesse soit de la
contrôler très précisément soit de contraindre son contrôle. C’est là une des pierres d’achoppement de
ce type de techniques si l’on ne prend pas garde à définir précisément comment le temps doit varier.
Nous avons finalement décidé d’avoir une vitesse fixe et de permettre des arrêts. Comme le parcours lui
peut varier, tout détour par rapport à la droite de l’interprétation canonique retarde l’événement à venir
et donc ralentit instantanément le tempo. Déroger au fil conducteur revient donc à ralentir, à retenir, à
retarder. Dès lors, il devient essentiel de régler la vitesse par défaut. Si la vitesse par défaut est
supérieure au tempo original, on pourra le retrouver en contrôlant les détours. Plus la vitesse sera
rapide plus il faudra faire de contours pour s’approcher de la vitesse originale. Donc pour résumer, la
vitesse est fixe par défaut mais tout mouvement la modifie.
Aimantation
Le fil conducteur peut avoir une simple fonction de repérage et permettre qu’on s’en éloigne librement,
mais dans ce cas, on est de nouveau dans une recomposition et non une interprétation. Il peut aussi
servir de centre pour la visualisation. Nous avons voulu lui donner une fonction d’aimant, c’est-à-dire
que lorsqu’on s’en éloigne et qu’on relache le click ou la pression sur le curseur, on y est doucement
ramené. De cette façon, l’interprétation canonique devient une version relâchée avec des nuances très
fines et en souplesse alors que toute décision de s’en écarter implique un geste déterminé et plutôt en
force. Ce qui a pour effet de privilégier les variations d’ampleur réduite. Une aimantation sur le temps
est également possible et intéressante en ce qu’elle permet de facilité des variations temporelles très
réduite et de conserver au plus près le tempo original. On imagine une double aimantation sur le fil
conducteur : en espace et en temps. Ce denier système aurait l’avantage de donner tout son sens au fil
conducteur. On pourrait contrôler avec un seul et même geste le tempo et l’expression.
Point de vue du joueur
La question de ce que voit le joueur est également très importante. Nous n’avons apporté des réponses
que provisoires à ces questions. Nous avons pris le parti d’une vision subjective de la partition, afin
d’être plus précis et plus engagé dans le jeu10. Cette vision est comparable à la conduite d’un véhicule
sur une route. Métaphore que nous avons également explorer dans PHASE. A titre d’anecdote, Pierre
Boulez comparait récemment dans une interview la direction d’orchestre à la conduite d’un véhicule11.
Zoom
Le joueur voit-il l’ensemble de l’œuvre, l’événement le plus proche, un groupe d’évènements. Autrement
dit quel est le niveau de zoom. Est-il fixe ou variable. L’option que nous avons privilégiée est d’avoir un
niveau proche normal et de pouvoir à tout moment se reculer pour avoir une vision plus globale de la
partition, puis de revenir d’un seul geste à la position proche. Nous n’avons réalisé que le niveau
proche.
Azimut
Le joueur voit-il la partition d’en haut c’est à dire à plat ou la « caméra » est-elle légèrement baisée
pour mieux anticiper les évènements à venir et faire disparaître plus vite les évènements passés ?
10
11
Nous utilisons délibérément le terme de jeu à la fois au sens de jeu musical et au sens de jeu vidéo.
En anglais diriger un orchestre se dit conducting (dif. driving a car)
Compte rendu du projet de recherche ENIGMES
p.23
2006-2007
Orientation
Dans quel axe regardons nous le fil conducteur ? Est-il toujours droit face à nous, ce qui implique que
lorsqu’il tourne, c’est l’ensemble de la scène qui tourne, un peu comme si on retournait une carte
routière à chaque fois qu’on prend un virage ou au contraire, est-il préférable de conserver une
orientation unique de la partition. Mais dans le deuxième cas, lorsqu’il y a un changement de direction,
on a l’impressions que la caméra se déplace en crabe. Un mixte entre les deux existe t’il ?
Variabilité des chemins
Une des question cruciale est l’aspect de ce fil conducteur et ses fonctionnalités. Après avoir envisagé
diverses approches, il a été décidé que l’interprétation canonique (celle du compositeur) serait
représentée par un fil conducteur droit. L’interprète peut donc slalomer autour du fil conducteur, broder
autour. Nous avons eu l’idée de modifier le fil conducteur, d’une interprétation à l’autre, afin de
s’approcher progressivement au plus près d’une interprétation idéale et de donner le maximum de
précision à cette interprétation. Nous avons donc décidé de faire évoluer le modèle, c’est ce que nous
avons appelé interprétation collaborative ou cumulative. (cf. projet d’interprétation collaborative)
Compte rendu du projet de recherche ENIGMES
p.24
2006-2007
Situation d’usage
Jeu, concert, exposition, Internet
Matthieu Savary a choisi de piloter à l’aide d’un joystick de jeu et dans un premier temps de développer
l’application dans une perspective de jeu, l’option jeu qui posait des problèmes spécifique au jeu
(compétitivité, évaluation, objectifs…etc) n’a pas été poursuivie mais le joystick est resté car il offre une
bonne précision de navigation et suffisamment de contrôles. Une autre option était celle du concert qui
elle implique une précision musicale et une qualité sonore maximale, nous l’avons poursuivie sans
toutefois arriver à une version finalisée. L’option exposition interactive où différents joueurs se
succèdent et font évoluer l’interprétation des précédents est une option très intéressante dans la
Compte rendu du projet de recherche ENIGMES
p.25
2006-2007
perspective d’une interprétation collaborative, mais pose des problèmes d’ergonomie spécifiques
(aucune maîtrise préalable, règles implicites obligatoires…) qui risquaient d’alourdir le projet. Enfin
l’option Internet nous a parue parfaite pour l’interprétation collaborative car elle permettait, du moins
nous le pensions, de faire la synthèse entre la version concert et la version expo tout en permettant un
accès facile à l’application.
Plateforme de développement
La première version de l’application Virchor + Max/MSP sur deux machine en réseau s’étant relevée trop
lourde, nous avons essayé d’autres plateformes. Au cours du workshop, Matthieu Savary a développé
une maquette fonctionnelle contrôlable par Joystick dans l’environnement logiciel « processing », le son
était produit par Max/MSP sur la même machine ou sur une autre communiquant via OSC ou MIDI.
Mattieu a également développé dans le même environnement un éditeur permettant de positionner au
joystick les évènements et de construire le chemin (ou fil conducteur). Zeev Zohar a lui développé un
ensemble de comportements visuels et sonore dans Macromedia Flash. Par la suite et dans la
perspective d’une version Internet, nous avons opté pour ce dernier environnement et avons demandé
une aide à un développeur professionnel Benoit Montigné. Un cahier des charge du développemnet a
été rédigé (voir annexe). Malheureusement le développement dans Flash s’est révélé beaucoup trop
ambitieux et malgré le temps et l’infinie bonne volonté de Benoit Montigné, le développement n’a pas
pu être finalisé. Nous avons également rencontré deux problèmes avec Flash : impossibilité de raccorder
le joystick et de récupérer ses données en temps réel sans trop de latence, ainsi que d’énormes
problèmes de timing dépendant des machines et des ressources processeur. Ce choix s’est donc révélé
discutable car entre autres problèmes il excluait la version concertante.
Projet d’interprétation collaborative
Principe de l’interprétation collaborative
En musique instrumentale, une tradition orale d’interprétation des œuvres est venue se greffer sur la
tradition écrite de la partition. D’une interprétation à l’autre, le modèle évolue, à tel point que pour la
musique baroque et classique, de nombreuses manières de faire non écrites furent incorporées aux
partitions à partir du 19ème siècle. Les mêmes œuvres ne sont plus jouées aujourd’hui comme elles
l’étaient in y a 50 ans, le disque est passé par là et les auditeurs ont leurs préférences d’interprétations.
Sur un siècle d’enregistrements de certains morceaux connus, on constate, d’importantes évolutions
dans l’interprétation. S’agit-il de modes ou de progrès ? c’est une autre question. En Jazz, les mêmes
standards, ne sont plus du tout joués de la même manière par Duke Ellington, John Coltrane et Chick
Corea. C’est évolution se déroulentnéanoins sur des temps relativement longs. Le cycle d’évolution
étant souvent assez long: entendre une nouvelle interprétation, s’en inspirer pour en créer une nouvelle,
la diffuser et qu’un autre muscien l’entende à son tour. C’est bien entendu le temps nécessaire pour le
mûrissement de l’invention, mais c’est également un cycle technique long et lourd. On peut faire évoluer
une interprétation beaucoup plus vite. Cela ne garantie pas sa qualité mais mérite au moins d’être
tenté. C’est ce que nous avons essayé de faire.
Le principe est le suivant : à chaque nouvelle interprétation, le fil conducteur est construit à partir des
interprétations précédentes. On enregistre le nouveau parcours de l’interprète et on confronte son
interprétation aux précédentes.
Système statistique
Zeev Zohar qui a imaginé ce système, à décidé de s’appuyer sur une analyse statistique des parcours
enregistrés et de proposer au nouvel interprète/joueur de modifier l’aspect de l’interface en fonction de
ses préférences. L’application enregistre donc le parcours de tous les joueurs et les compare. Il extrait la
dérive du chemin par rapport au modèle canonique et l’analyse de façon à en déduire un ensemble de
critères prédéfinis.
Compte rendu du projet de recherche ENIGMES
p.26
2006-2007
Composition préalable de la partition navigable
Compte rendu du projet de recherche ENIGMES
p.27
2006-2007
Choix du joueur
Ces critères sont accessibles via un tableau statistique visible lors de l‘interprétation au niveau de
chaque événement. Ils sont affichés en pourcentage :
- Popularité
- Vitesse
- Ecart par rapport au parcours canonique
- Compétence
…
Compte rendu du projet de recherche ENIGMES
p.28
2006-2007
Conclusion
Le projet Feuillage reste un chantier, mais un chantier très riche et plein de promesses. Un grand
nombre de question ont été posées, tester avec ambition et sérieux, mais n’ont pas été résolues, 3
esquisses fonctionnelles, mais aucune réalisation n’a aboutie au niveau nécessaire pour vraiment jouer
la pièce avec une précision et un potentiel expressif suffisant et c’est regrettable. Nous espérons
toutefois que de nouvelles suites verront le jour, car c’est l’ouvrage qui nous parait être le plus proche
de notre préoccupation de départ : la partition navigable. Ces travaux confirment l’intérêt et le potentiel
de la démarche tout en en soulevant des difficultés propres qu’il faudra maintenant surmonter pour
avancer. Ces difficultés sont principalement techniques, mais des questions plus profondes restent
encore à venir.
Compte rendu du projet de recherche ENIGMES
p.29
2006-2007
3.Projet « LES ILES »
Coordonné par Marine Rouit
Conception et réalisation (design) : Yuliya Samul et Marine rouit
Musiciens : Zheni Meria, Claire Moulin, Benjamin Chardinal
Encadrement technique 3D : Virginie Sebbag, Simon
Introduction
Du point de vue de l’auditeur,
Le son est un objet qui ne se laisse ni voir, ni toucher. En musique électroacoustique, nous sommes
dans l’écoute, dans une position d’attente aveugle, Comment engendrer une curiosité face à l’objet
musical ? Comment arrêter, interpeller l’auditeur, comment inviter à l’écoute ?
Comment donner un moyen d’explorer la musique, comment exposer celle-ci ?
Du point de vue de l’interprète,
Comment utiliser le son dans un objet de manière active (interactive) ?
Donner à la musique une représentation physique. « Matérialiser » le son pour
donner des possibilités d’action sur le son ou la musique.
le rendre jouable,
En fait il s’agit de rendre le son « utilisable ».
Comment toucher le son ?
Ces représentations s’apparenteront à des paysages, des surfaces topographiques que l’utilisateur
(musicien ou non)sera invité à explorer. Le relief comme un moyen de représenter physiquement le son.
Une surface non-lisse (par opposition aux ecrans,aux objets numériques..) , composée d'aspérités et
d'accidents qui permettrait de contrôler et jouer le son. Créer un rendu haptique, créer une surface qui
viendrait guider le geste.
Principe général
Question posée : comment rendre sensible le jeu du son numérique ?
Partition navigable cela signifie par exemple qu’on a la possibilité d’aller et venir dans l’écoute d’un
morceau . On dispose de points de repère musicaux. On peut aller à l’endroit, à l’envers. Ecouter la fin,
puis le début. On peut fragmenter l’écoute. On peut désynchroniser les voix. On peu modifier la
musique en jouant, créer des variantes. On choisit une interface physique fondée sur la métaphore du
dessin de la musique. L’interface est un objet, la musique est placée dans l’objet. Cela permet de
renforcer la relation tactile, sensorielle à la musique, de « retactiliser » l’expression sonore d’une
musique dématérialisée.
Créer un langage volumique.
Le relief comme langage ou comme métaphore ? Créer des représentations visuelles et tactiles.
Espaces de jeu qui guident le geste par la matière et le ressenti.
Relations Geste- matière/surface- son (Geste-son - Surface son - Geste-surface)
Mise en espace de la musique. Mise en relief (volume) de la musique.
A qui s’adresse t’on ?
À des musiciens pour l’improvisation en temps réel dans un concert. Ces interfaces vont être utilisées
par des musiciens pour improviser en temps réel lors d'un concert. Jouer en spectacle. Performance live
(en temps réel).
A des enfants dans le cadre d’actions pédagogiques musicales et ou d’apprentissages gestuels dans
lesquels le son peut jouer un rôle significatif.
Technologie : La palette graphique « préparée ».
Nous constatons qu’il est possible d’ajouter une épaisseur d’environ 15mm sur la tablette graphique
dont nous disposons. (Wacom Intuos 2 modèle GD-1212-U 300x300mm).
Nous détournons cette interface, en modifiant sa surface par l’ajout de reliefs12.
12
Nous avions déjà expérimenté ces principes sans les approfondir dans le cadre du projet PHASE à l’Ircam en
2004. Le projet Enigmes et Les îles nous ont permis d’approfondir cette idée.
La palette graphique est utilisée à travers la librairie d’abstraction Max/MSP « Enigme Lib » développée
pour le projet.(Cf.Chap. V.1)
Ces surfaces en relief constituent un paysage de jeu musical (les Iles). Elles fonctionnent comme un
guide haptique13 passif.
Photo de la palette graphique démontée
Le programme EnigmeLib, permet :
De repérer (détecter) la position et la forme de graphismes préalablement tracés (ou placés) sur la
palette graphique.*
De « mapper » c’est-à-dire d’associer des sons (nous utiliserons des « samples ») à ces formes.
D’utiliser les paramètres gestuels liés à l’utilisation du stylet (pression, inclinaison, vitesse du geste,
répétition), pour les associer à des paramètres sonores (volume, hauteur, bouclage)
De jouer les sons avec différents type de générateurs
* 3 types de formes sont identifiables :
- Des « anneaux », (ou disques )
Une fois l’anneau répéré on sait si on est dedans ou dehors, mais aussi on repère à tout moment la
distance par rapport au centre. On peut aussi, si on fait le tour du cercle avec le stylet, connaître l’angle
en degré par rapport à l’origine et compter le nombre de tour effectués
- Des « rectangles »
Une fois le rectangle positionné on sait donc si on est dedans/dehors.On connaît à tout moment la
position x,y dans le rectangle
- Des « courbes » (on trace une courbe avec le stylet en même temps que l’on écoute une musique,
cela va mémoriser la position des points de cette courbe associés au temps de la musique). Une fois
tracée la courbe on sait si on est dessus ou non, mais on identifie aussi à quelle distance on se trouve
de la courbe.
(cf description complète du logiciel chap.V-1.)
13
Haptique : produisant un retour d’effort, c’est à dire opposant une force en retour d’un geste produit.
Compte rendu du projet de recherche ENIGMES
p.31
2006-2007
Définition du projet
Premières expériences au cours du workshop (sept 06)
Le premier principe formel sur lequel nous travaillons est celui de l’anneau. Nous réalisons une
maquette comprenant deux cercles creusés dans une plaque de médium. Nous avons fraisé un grand
cercle et un plus petit, tangent au premier. Ce dessin nous permet de créer une circulation continue
entre les deux cercles. On fixe la plaque sur la palette graphique. On repère les anneaux en situant le
centre et en indiquant deux rayons, intérieur-extérieur. On mappe ensuite des sons sur les anneaux. De
manière à ce que quand on parcourt le cercle (quand on suit le sillon dans le sens des aiguilles d'une
montre) la musique soit jouée. Plus on va vite, plus la musique est jouée vite. D’autre part, la pression
est récupérée pour modifier le volume (plus on appuie plus le son joue fort) et l’inclinaison modifie la
hauteur du son. Les sons utilisés sont réalisés par Zheni Meria.
Bilan de l’expérience14
-
Intérêt de la navigation dans la surface en relief , guider et répéter le geste.
-
Bonne réactivité de l’interface
-
Possibilités de jeux très riches
-
Importance du relief pour la précision du geste
-
Qualification de la forme par rapport au sons et aux modes de jeux : il faut
composer le son pour la forme et inversement.
Le stylet est une tête de lecture manipulable en temps réel
Cette expérience nous permet de valider le principe de la surface en relief. Le relief permet de suivre
une forme précise et de répéter son geste. (Guider et répéter le geste. )
Le relief constitue à la fois un repère visuel et un repère haptique par la sensation perçue au bout du
stylet (et non tactile car on ne perçoit pas le relief avec les doigts)
Le stylet constitue un outil précis, il permet un geste rapide et mobile dynamique.
Sensation au bout du stylo. Les paramètres peuvent être modifiés de manière subtile et nuancée.
Au niveau de l’interaction : étant donné l’échelle relativement petite à laquelle s’effectue le geste, la
superposition des paramètres sonores (hauteur, volume) fait que l’on arrive vite à une perte de repères
dans l’interaction. C’est-à-dire qu’on n’identifie plus quelle action, modifie quoi. Il est donc essentiel de
faudra probablement veiller à limiter le nombre de paramètres sur lesquels on agit afin de garder lisible
la relation entre le geste effectué et le son produit (et surtout afin de grader le contrôle sur le son joué).
Cela revient à va nous obliger à définir des paramètres de jeu propres à chaque type de reliefs et
chaque ensemble de son.
Composition des jeux
Ce travail de composition des ensembles de jeu est très important. C’est un travail de création musical
comparable à l’écriture d’une partition et à la création d’un instrument ou à son réglage. Ici une
dimension supplémentaire vient néanmoins s’ajouter : la topophonie15 active liée aux gestes de
l’interprète. Il ne suffit pas de choisir des sons ou une surface en relief, il faut régler chaque paramètre
sonore afin de disposer d’un instrument complet. On s’approche également de la définition que donne
14
15
Les tests ont été réalisés par les membres du projet ainsi que des élèves de l’école invités à tester et commenter.
Nous utilisons ce terme pour désigner une géographie sonore active.
Compte rendu du projet de recherche ENIGMES
p.32
2006-2007
Pierre Schaeffer de la notion d’instrument appliqué à la musique électroacoustique.
(Cf Annexe 3. Qu’est-ce qu’un instrument électroacoustique)
Définition de 2 pistes de projets : 2 scénarios d’usage
I- Une table d’improvisation (instrument de musique)
II- Un cahier d’écriture (cahier d’exercice pour apprendre à écrire)
Une Table d’improvisation
Contexte et Enjeux
l’improvisation musicale
Improvisation : Jouer sans partition écrite et sans modèle mémorisé. On parle d’improvisation libre ou
contrainte, de part d’improvisation…etc. Certaines formes d’improvisations sont canoniques (be-bop,
raga, sarabande,…) En musique électroacoustique, on pratique généralement l’improvisation
générative16, c’est-à-dire, une improvisation où l’on compose la musique dans le temps où on la joue.
De nombreuses approches sont possibles, elles articulent généralement la part déterminée et la part
indéterminée. Par exemple la définition des grandes formes et la liberté dans sa conduite, des modes
de jeux prédéfinis mais non formés, des variations thématiques…etc Ici, la surface de jeu et l’ensemble
de jeu (topographie et topophonie) sont déterminé, d’autres prédéterminants peuvent être également
définis par l’interprète : un parcours, une évolution, un type de geste…etc le reste étant décidé au cours
de la performance. Pour qu’une improvisation soit réussie, il faut que la construction soit singulière et
le jeu élaboré voire vitrtuose. (jouer vite ce que l'on a en tête, pas de tâtonnement possible)
Objectif
Ce sont des "partitions - instruments", des surfaces qui sont à la fois des représentations de certains
éléments de la conduite du son, et des interfaces de jeu.
Chaque instrument a ses propres modalités de jeu
Elles doivent procurer une grande subtilité d'interprétation, un plaisir sensoriel pour le musicien (proche
de l'instrument) en même temps qu'une simplicité d'utilisation.
Instrument est composable à partir des sons propres au musicien et d’une bibliothèques de formes
plastiques prédéfinies.
Recherches
Recherches libres sur les reliefs ( Reliefs en terre et en pâte fimo )
En parallèle de la définition des scénarios. On fabrique d’abord des reliefs en terre qui nous
permettrons de comprendre le lien entre le geste et le relief. On peut tester le rendu haptique sur ces
reliefs (mais on ne peut pas encore se rendre compte du rendu sonore). Ces premières expériences nous
permettrons de préciser plus tard les scénarios d’utilisation et d’affiner notre choix lors de la sélection
des plaques finales.
16
Terme utilisé en particulier par Alain Savouret .Il a créé la classe d’improvisation générative au Conservatoire
National Supérieur de Musique de Paris en 1992.
Compte rendu du projet de recherche ENIGMES
p.33
2006-2007
Compte rendu du projet de recherche ENIGMES
p.34
2006-2007
Tests sur maquette en terre
On reproduit ensuite en pâte fimo les reliefs qui nous semblent intéressants. La pâte fimo, matière
plastique modelable durcissante, est utilisée pour des premiers tests sonores.
surface bosselée)
Premières experiences sonores (exemple d’une
Sur la plaque « bosses » en pâte fimo on teste différents types de sons, sans organisation particulière.
L’organisation aléatoire des sons et du relief génère un désir de découverte des sons, l’impression de
naviguer dans un espace ou on découvre différentes sonorités. L’aspect texturé de la matière donne
envie de la « toucher ». On a le sentiment que le relief influence la manière d’entendre le son et de
jouer le son. On teste différents reliefs avec le même son. Le relief semble modifier la manière de jouer
le son.
On se rend compte également que deux aspect du reliefs interviennent : sa texture et sa forme. La
forme (bosse, sillon, creux) est ce qui constitue un guide et une organisation, quand la texture semble
apporter une dimension haptique qui semble parfois s’accorder avec le son. Il serait intéressant
d’étudier la combinaison des paramètres (volume/texture).
Après cette expérience nous commençons à faire une classification des reliefs selon un répertoire de
formes : bosses, creux, sillons, arrêtes…etc.
Ces formes induisent des modes d’utilisation différents, créent repères visuels liés au son. Ces repères
sont dépendant du motif sonore choisit et du player, car l’ensemble induit un geste particulier avec des
possibilités de nuances plus ou moins précises selon les formes, des niveaux de détail différents, des
possibilités d’accentuations privilégiées…etc
Vers le développement de scénarios d’usage précis.
Explication de la démarche de conception des surfaces
On élabore des « cartes » (dessins, schémas) qui sont reconnaissables par le programme Enigme Lib et
qui vont servir de base graphique à la fabrication des reliefs.
Par exemple :
Compte rendu du projet de recherche ENIGMES
p.35
2006-2007
A partir de l’objet « anneau » (qui permet de reconnaître et de positionner des anneaux, disques,
cercles sur la palette graphique) on décline différentes cartes .
exemples de « cartes »
1
2
3
4
À partir de ces cartes, on imagine des Scénarios d’utilisation. Par exemple, à partir de la carte des
cercles concentriques (dessin3) on choisit les paramètres de navigation (métaphores d’interaction)
suivants : Un son différent est attribué à chaque anneau, le son est joué quand je suis sur l’anneau et si
je trace le cercle dans le sens des aiguilles d’une montre, je parcours le son. (Paramètres de mapping)
Plus j’appuie, plus le volume augmente. (Paramètres gestuels)
Chaque carte peut avoir plusieurs scénarios d’utilisation (C’est-à-dire différents modes de paramétrage) .
C’est une des raisons qui nous ont poussées à sélectionner puis à réaliser un ensemble de formes
simples ; archétypales résumant les différentes métaphores imaginées.
- Les cercles concentriques
- Les anneaux qui se rejoignent
- Le sillon arborescent
- Les bosses
- Les cratères
- Les sillons fermés courbes croisés
-…
Après avoir sélectionné un scénario que l’on souhaite développer on commence alors la réalisation de la
plaque en relief. Pour concevoir le relief on se réfère aux essais en terre.
Puis on réalise le relief de la manière suivante. (voir photos plus loin)
a) Dessin en plan à l’échelle . (taille de la plaque , taille des sillons en fonction de la pointe du stylet ,
nombre de sillon )
b) Modélisation 3D du relief dans le logiciel 3DS max (on choisit la profondeur, la forme du sillon )
3) Fraisage avec la fraiseuse numérique et le logiciel Datron.
4) Réalisation d’un moule en silicone de la plaque ainsi obtenue
5) Tirage en résine polyuréthane teintée (noir/ blanc
Modélisation 3D et le fraisage numérique
Le passage par la modélisation 3D et le fraisage numérique nous a semblé nécessaire pour obtenir une
géométrie précise et une finition de qualité.
Le moule en silicone permettra plus tard de réaliser des tirages des plaques.
1. Maquette graphique 2D à l’échelle
Compte rendu du projet de recherche ENIGMES
p.36
2006-2007
2. Modélisation 3D (maillage)
3. Modélisation 3d texturée
4. Fraisage numérique dans un matériau type « lab » a grain fin
5. Moule silicone et tirage en résine noire
Compte rendu du projet de recherche ENIGMES
p.37
2006-2007
6. Plaque terminée
Réalisation des patchs Max/MSP
Une fois les plaques réalisées il faut fabriquer les patchs17* ou ensembles de jeux correspondant à
chaque plaque (toujours avec EnigmeLib dans max). Il faut positionner les formes graphiques (anneaux,
rectangles, courbes) à l’aide du stylet, puis paramétrer ceux-ci comme indiqué dans le scénario
d’utilisation.
Finalisation
La finalisation est l’étape qui permet au dispositif expérimental, de prendre une forme utilisable lors
d’un concert en situation d’improvisation. « Un instrument pour l'improvisation musicale »
Cet instrument est composé d'une collection d'interfaces - paysages en relief que l'on parcoure à l'aide
d'un stylet pour jouer le son. Le relief sert de repère musical et d'espace de jeu, et permet de guider,
de répéter le geste.
Chaque surface a ses propres règles de jeu. L'inclinaison, la pression du stylet mais aussi la rapidité du
geste, modulent le son, générant une interprétation subtile un plaisir sensoriel pour le musicien. »
17
Les patchs sont les fichiers dans lesquels on mémorise la géographie de chaque plaque, les paramètres de jeu,
mais aussi les sons. Pour chaque plaque on peut créer plusieurs patchs pour chacune des compositions musicales
ou sonores.
Compte rendu du projet de recherche ENIGMES
p.38
2006-2007
L’objet final
Une « table d’impro »
La table d’improvisation est constituée d’une base connectée à l’ordinateur par un câble usb (qui
contient le système électronique de la palette graphique wacom), d’une collection de plaques en résine
polyuréthane de 10cm x 10 cm et d’un stylet/baguette.
Compte rendu du projet de recherche ENIGMES
p.39
2006-2007
On place le relief dans le renfoncement au centre de la base. L’utilisation se passe en deux temps .
- Un temps pour la composition où le musicien choisit les sons parmi ses propres fichiers audio et affine
le paramétrage des patchs.
- Un temps pour l’interprétation ou l’improvisation. On lance les patch préparés, l’ensemble est
immédiatement opérationnel (formes, sons, générateurs) et on en joue en parcourant la surface des
plaques avec le stylet.
Quelques précisions sur les finitions.
Le stylet s’allonge et prend la formes d’une « baguette » de chef d’orchestre afin d’amplifier le geste
lors du concert
La base est un boîtier plastique surmonté d’un cadre qui maintient les plaques en place. Ce cadre est
réversible : d’un coté il est recouvert de cuir pour les moments de composition, pour le travail en
studio, de l’autre il est noir laqué pour le concert. Pour le moment la base mesure 40 X 40 cm
Les plaques
Modules de 10 x 10 cm . Le format des plaques est volontairement petit pour être transportable et
manipulable. (On pourrait cependant imaginer des plaques plus grandes et plus complexes)
Pour le moment 7 plaques différentes existent. photos
- Concentrique
- Rivière
- Lune
- Coussin
- Coquillage
- Rayures
- Bosses
Compte rendu du projet de recherche ENIGMES
p.40
2006-2007
Jeu de plaques
Objet complet
Compte rendu du projet de recherche ENIGMES
p.41
2006-2007
Compte rendu du projet de recherche ENIGMES
p.42
2006-2007
Une définition de produit comprenant à la fois l’objet et une version très simplifiée du logiciel :
Disparition de l’ordinateur
Programmation directe intuitive
Un ensemble de débouchés possibles :
Instrument pour le concert
Instruments de pratique musicale à l’école
Outil d’aide à la création de formes sonores dynamiques pour le design sonore
Interface de contrôle pour d’autres applications…
…
Bilan
Un outil qui ne nécessite pas de virtuosité instrumentale, il est donc accessible à tous, mais l’usage
s’améliore avec la pratique et la maîtrise expressive instrumentale en général.
Objet dédié ou système générique ?
Le parti pris du système (design) est actuellement de le laisser ouvert et appropriable.
Perspectives pour des : Interfaces « non standards » Un système qui permet de créer des objets non
pas« personnalisables » mais des formes « fonctionnalisables ».
Une version simplifiée du programme informatique est à l’étude. La librairie Enigme-Lib serait dans un
premier temps remplacée par une application unique d’utilisation simple.
Vers des meta-interfaces
Nous envisageons dans un deuxième temps que les propriétés, modes de jeu, développées pour ces
instruments soient détournés pour des applications différentes mettant en jeu l'image, ou le son.
Ainsi nous envisageons cette recherche comme une recherche sur des "meta - interfaces physiques".
Compte rendu du projet de recherche ENIGMES
p.43
2006-2007
Un cahier d’écriture
Un guide en creux représentant les différentes étapes d’apprentissages de l’écriture manuelle, permet
d’assister l’enfant dans son expérience. Une modulation sonore en temps réel lui permet d’évaluer à
l’oreille la dynamique de son mouvement.
Contexte et enjeux
L’apprentissage de l’écriture (exemples de méthodes, Stéphanie, rencontre avec des instituteurs/trices )
Quel rôle peut jouer le son dans l’apprentissage de l’écriture ?
L'apprentissage de l'écriture comporte deux objectifs
-apprendre par coeur la forme des lettres et leur sons correspondants
-développer la motricité nécessaire au tracé des lettres.
Ces deux apprentissage se font séparément :
- à travers des exercices qui peuvent développer les capacités gestuelles ( l'enfant dès la maternelle fait
des exercices de "graphisme" ou il apprend à tracer des traits, des boucles, des ronds),
- par des exercices où il apprend à reconnaître la forme des lettres à les différencier les unes des autres
(la maîtresse en général montre la lettre à l'enfant et émet le son phonétique de la lettre puis l'utilise
dans un mot)
Pédagogie : Freinet : mettre l’enfant en situation de faire.
Apprendre à écrire c’est un peu comme apprendre à jouer un instrument, et lire c’est un peut comme
apprendre à lire le solfège…
Problèmes rencontrés lors de l’apprentissage de l’écriture et de la lecture
geste, motricité (affiner le geste)
- tenir le stylo
- tenir la ligne (écrire droit)
- apprendre à tracer les formes (lignes droites verticales et horizontales et diagonales, cercles,
boucles, ponts…)
apprendre des formes et les sons correspondants.
les lettres, les syllabes, les phonèmes (syllabes complexes)
lire les mots, les phrases, un texte (se dégager de l’effort de la lecture pour en comprendre le sens)
écrire des mots, des phrases de plus en plus vite améliorer la graphie
On écoute avant de parler
On parle avant d'écrire
On lit avant d'écrire (M. Montessori pense le contraire)
On écrit avant de rédiger (cela dépend des méthodes)
On lit plus vite qu'on écoute
On parle plus vite qu'on écrit
Daniele Dumont
Methode Montessori (lettres rugueuses)
Recherches
Au depart on se concentre sur le geste d’écriture. Le son pourrait-il nous permettre de mémoriser le
geste et de l’affiner ?
Premières expériences sur le geste d’écriture, comment relier le son et l’alphabet ?
Découpage de l’alphabet en motifs (cf méthode Danièle Dumont) : les 4 formes de base qui vont
constituer la bibliothèque sonore
Compte rendu du projet de recherche ENIGMES
p.44
2006-2007
Elaboration d’une plaque composée d’une succession d’exercices ( la plaque d’exercices ) où le guidage
par le relief est de moins en moins présent.
Bilan
Fonctionnement intéressant qui peut potentiellement accélérer considérablement l’apprentissage de
l’écriture.
On rencontre une difficultés techniques aux croisements des lignes ou le stylet peut bloquer. Il faudrait
creuser la question.
L’aspect ludique dans le son peut rendre l’apprentissage moins fastidieux.
L’utilisation d’échantillons sonores n’est pas satisfaisant. Il faut construire un générateur sonore par
synthèse. Un design sonore véritablement approfondi est indispensable.
Séquencer l’apprentissage (de l’écriture à la lecture) ne pas dissocier la lecture de l’écriture.
La question du partage. Rendre le projet partageable.
Meta design.
Design « Open source ».
Compte rendu du projet de recherche ENIGMES
p.45
2006-2007
4.PLUMAGES
Un projet de Yoan Ollivier, Benjamin Wulf et Sveltana Bogomolova
Chercheuers associés : Christian Jacquemin et Diemo Schwarz
Développement et soutien technique : Rami Ajaj
Naviguer dans une collection d’échantillons sonores
Ces dernières années se sont développées à la suite des outils de traitements de la musique
électroacoustique, un certain nombre de méthode pour jouer et parcourir, modifier, naviguer dans des
séquences sonores. Il en existe d’assez simple comme le déplacement granulaire dans le temps d’un
morceau et d’autres plus complexes qui font appel à un tri préalable des composants du morceau.
CatArt fait partie de ces derniers.
Principes de CatART
CatArt a été développé à l’Ircam par Diemo Schwarz. Il s’agit un outil logiciel permettant de découper un
fichier audio en un ensemble de tout petits fragments de sons (grains). Une fois cette opération
réalisée, ces grains sont classés selon un choix de différents descripteurs sonores18. Une fenêtre
graphique 2d permet de disposer les grains selon 3 descripteurs : en x, en y et en couleur. Ainsi l’on
peut en déplaçant le curseur de la souris dans cette fenêtre contrôler l’ordre d’apparition des grains de
son.
Description du projet Plumage
Le projet Plumage part du constat que la navigation 2d et que l’interface çi dessus limite
considérablement les possibilités de jeu. L’idée de décomposer un morceau en particules élémentaires
implique que la dynamique de la navigation devienne une forme de recomposition dont les modalités
sont à définir.
Les grains de sons représentés comme des points fait l’impasse sur leur matérialité. Le nombre de
dimensions accessibles pour le contrôle et la navigation sont insuffisants en 2d pour qualifier des
régions et des dynamique de jeux prégnantes.
Nous avons donc décidé de travailler en 3d temps réel et de construire un univers dans lequel les
grains sont dispersés. La métaphore choisie par Yoan Ollivier est celle des plumes qui volent, mais
également des plumes qui une fois reliées entre elles forment un plumage. Chaque grain de son est
représenté par une plume symbolisée par un polygone que nous avons appelé une plumes.
18
Un descripteur sonore est un critère auditif qu’un algorithme d’analyse numérique permet de mesurer.
Plumage: Design d’une interface 3D pour le parcours d’échantillons sonores granularisés
Article rédigé pour IHM 2007 décrivant le projet
Christian Jacquemin et Rami Ajaj
Roland Cahen et Yoan Ollivier
Diemo Schwarz
LIMSI & Univ. Paris 11
ENSCI
IRCAM
91403 Orsay, France
75011 Paris, France
75004 Paris, France
Plumage est une interface pour le contrôle interactif de la composition et du jeu de scènes graphiques
et audio spatialisées. L’interface repose sur un environnement graphique 3D composé de têtes de
lecture animées parcourant un espace sonore matérialisé par des plumes associées à des grains sonores
(des micro-échantillons). La disposition spatiale des plumes repose sur des paramètres sonores des
échantillons qu’elles représentent. Le jeu musical est une lecture interactive et continue de cet espace
sonore contrôlée par manipulation directe des paramètres des trajectoires des têtes de lecture.
Multimodalité, Composition audio-visuelle, Interfaces 3D.
Plumage is an interface for interactive 3D audio/graphic scene browsing and design. The interface relies
on the notion of tape heads in a sonic and graphic 3D space made of feathers associated with sound
micro-samples. The spatial layout of the feathers is defined by sound parameters of the associated
samples. The musical play is the outcome of a continuous and interactive navigation in the sound space
controlled by direct manipulation of tape head trajectories.
H5.m. Information interfaces and presentation (e.g., HCI): Miscellaneous.
Documentation, Instructions
Multimodality, Audio-visual composition, 3D GUIs.
1 INTRODUCTION
Le rendu audio-visuel spatialisé est au cœur des problématiques de la réalité virtuelle et augmentée
lorsque l’on souhaite ne pas se limiter à une seule modalité (la vue). Afin d’offrir un rendu cohérent, le
positionnement spatial des sources sonores et celui des objets géométriques doivent être définis dans
un même référentiel et une même temporalité. Des formalismes tels que MPEG-4 BIFS [1] ou X3D19
peuvent recevoir ce type de description multimédia.
Ces formalismes et les applications qui proposent des compositions audio-visuelles spatialisées
reposent sur une description de sources ponctuelles et leur positionnement dans l’espace. A contrario,
les techniques de rendus d’image pour une approche continue des propriétés graphiques de l’espace
(comme la fumée ou le brouillard) utilisent une représentation spatiale discrétisée des propriétés
lumineuse du média [3]. Notre travail offre une première convergence entre une représentation spatiale
continue du son et des propriétés lumineuses. Il décrit un nouveau type d’interface audio-graphique
spatialisé dans laquelle le son est représenté par une distribution spatiale de grains sonores et le rendu
sonore se fait par parcours de lecture géométrique de ces grains et rendu audio lissé (figure 1). Ce
travail ouvre de nouvelles perspectives sur le rendu audio-graphique spatial non restreint à des sources
ponctuelles.
L’interaction est au cœur de cette interface intitulée Plumage et composée de petits éléments visuels
placés dans l’espace géométrique en fonction de paramètres de l’espace sonore qu’ils représentent. La
navigation interactive vise à s’en approcher pour les écouter et se construire un parcours perceptuel.
Plumage résulte de la coopération interdisciplinaire entre designers et chercheurs dans le cadre du
projet Énigmes20 piloté par Roland Cahen (ENSCI) et portant sur les partitions navigables. Il reprend des
hypothèses et des recherches conduites dans le cadre du projet collaboratif Phase [4] sur l’utilisation
d’un environnement virtuel 3D et d’un bras à retour d’effort pour parcourir un espace sonore interactif.
Par partitions navigables, l’on entend ici des formes de notation ou de représentation musicale actives,
avec lesquelles on peut directement jouer la musique. L’outil numérique permet de ne pas dissocier la
partition de l’instrument et propose, par la notion de navigation sonore, de nouvelles approches de la
composition/interprétation de la musique et du son.
19
http://www.web3d.org/
http://projetenigmes.free.fr/
20
Compte rendu du projet de recherche ENIGMES
p.47
2006-2007
Figure 1: Design graphique de Plumage.
2 ARCHITECTURE
L’architecture générale de Plumage est décrite dans la figure 2. Elle est organisée autour de deux
applications complémentaires. CATART [7] est un logiciel de synthèse sonore concaténative qui s’appuie
sur des grains sonores (des micro-échantillons) garnis de méta-données issus soit de l’analyse des sons,
soit de descripteurs de haut niveau. Lorsque l’on enchaîne la lecture de ces échantillons, une sortie
sonore continue est produite en temps réel par synthèse granulaire.
Figure 2: Architecture de Plumage.
21
Virtual Choreographer (VIRCHOR) est un moteur de rendu 3D temps réel interactif. Deux fonctionnalités
de VIRC HOR sont exploitées dans le cadre de Plumage. D’une part, des capteurs sont placés dans la
scène afin de déclencher des émissions de messages vers les objets qu’ils intersectent. D’autre part, des
micros sont positionnés afin de reporter vers un spatialiseur sonore en sortie de CA T ART. les
coordonnées sphériques des sources sonores actives dans le référentiel des micros.
21
http://virchor.sf.net
Compte rendu du projet de recherche ENIGMES
p.48
2006-2007
3 INTERFACE DE RENDU AUDIO-VISUEL INTERACTIF
Plumage est une application de rendus graphique et audio cohérents, temps réel et interactifs. L’espace
sonore est constitué de grains sonores avec leurs descripteurs. L’espace graphique se compose d’un
ensemble de plumes, chaque plume est associée à un grain sonore. Son positionnement spatial et sa
représentation graphique sont fonction des méta-données associées aux échantillons sonores (voir
figure 3). Au sein de la distribution spatiale des plumes se déplacent trois têtes de lecture sur des
trajectoires elliptiques. Ces têtes sont composées d’un micro accompagné de trois capteurs qui tournent
autour des micros comme des satellites autour d’une planète.
Figure 3: Vue d’ensemble de l’interface.
Les têtes de lecture parcourent à vitesse contrôlable leurs trajectoires et les capteurs qu’elles entraînent
déclenchent la lecture des échantillons sonores associés aux plumes qu’ils traversent. Les micros actifs
sont utilisés pour reporter à CATART les identifiants des sources sonores et leurs positions relatives. À
partir des informations sur les sources qui sont actives ou non, CATA RT produit une sortie sonore
continue par synthèse granulaire en combinant les informations audio des échantillons associés aux
sources actives. À partir des informations sur la position relative des sources par rapport au(x) micro(s)
allumé(s), le spatialiseur produit une sortie audio cohérente avec le déplacement des têtes dans la
scène graphique.
3.0.1 Éléments géométriques
L’interface est constituée d’un graphe de scène dont les nœuds intermédiaires sont des transformations
— des transformations fixes pour les feuilles et des transformations animées le long de chemins
elliptiques pour les têtes de lecture — et dont les feuilles sont des objets géométriques (maillages ou
primitives) ou des objets invisibles (micros, caméras, lumières...). Un schéma simplifié du graphe de
scène de Plumage est présenté à la figure 4, les feuilles y sont des boîtes à bords arrondis. Le fait que
les satellites et les capteurs associés soient situés sous la transformation de la tête de lecture (caméra
et micros associés) assure que les satellites et leurs capteurs sont bien entraînés par la transformation
sur trajectoire elliptique des têtes de lecture.
Compte rendu du projet de recherche ENIGMES
p.49
2006-2007
Figure 4: Graphe de scène de l’interface graphique et quelques messages.
Les objets sonores sont des objets géométriques (les feuilles) auxquels sont attachées des propriétés
sonores. On remarque dans le graphe de scène que les plumes sont égales à l’interpolation de deux
maillages afin de pouvoir les déformer dynamiquement en faisant varier le coefficient d’interpolation.
3.0.2 Comportements
Les comportement des objets interactifs (têtes de lectures, capteurs et plumes) sont décrits par des
scripts dont le déclenchement repose sur des stimuli: le message reçu d’un capteur pour lancer la
lecture de l’échantillon sonore associé à une plume, la sélection par la souris pour le repositionnement
d’une trajectoire elliptique, les messages externes de modification des paramètres graphiques ou des
animations pour le contrôle utilisateur par transmission réseau.
Les scripts sont des commandes qui servent soit à modifier les informations sur un élément de la scène
(modifier la taille d’un objet, sa couleur, sa position), soit à contrôler des animations (en les lançant ou
en gérant dynamiquement leurs fonctions temporelles), soit à envoyer des messages vers l’application
sonore ou vers d’autres objets dans le graphe de scène pour lancer indirectement d’autres commandes.
À titre d’exemple nous décrivons les deux scripts associés à la boîte englobante d’une plume. Le
premier se déclenche lorsqu’un capteur entre dans la boîte englobante: il rend la plume rougeâtre, lance
une interpolation qui va la faire grandir et il active ses propriétés sonores. Avec cette dernière action, la
source sonore associée à cette plume deviendra audible pour tout micro allumé de la scène. Le second
script est déclenché lorsqu’un capteur sort de la boîte englobante. Il annule le script précédent en
remettant la plume dans sa forme et sa couleur initiales et désactive la source sonore. La figure 4
montre des circulations de messages (sensor in/out) et les exécutions de commandes (change couleur et
active/désactive son).
4 ANALYSE ET RESYNTHÈSE SONORE
La partie audio du dispositif Plumage est assurée par le système CATART [7] de synthèse concaténative
par corpus en temps réel22 . La synthèse concaténative est un nouveau paradigme de synthèse sonore
musicale qui utilise une base de données de sons enregistrés et un algorithme de sélection d’unités qui
choisit les segments de la base de données qui conviennent le mieux pour la séquence musicale que
l’on souhaite synthétiser, dite la cible [5, 6]. La transposition de ce principe à une utilisation en temps
réel peut aussi être vue comme une extension basée sur le contenu de la synthèse granulaire, où le seul
mode d’accès par position temporelle dans un fichier son est augmenté par un accès ciblé par
caractéristiques sonores dans un ensemble de sons.
Le logiciel CATART est implémenté dans MAX/MSP23 avec les extensions FTM et Gabor24 . Dans une phase
d’initialisation, il découpe un ou plusieurs enregistrements en petites unités appelées grains , et les
caractérise par leurs contenus sonores. Ces paramètres sont donnés par la valeur moyenne d’un certain
nombre de descripteurs sonores: la fréquence fondamentale, le volume sonore, la brillance, le niveau de
bruit, la répartition spectrale et d’autres caractéristiques du timbre. Les valeurs décrivant des
informations de découpage sont également stockées comme descripteurs: la position, la durée et la
provenance du segment dans les fichiers son d’origine.
CATART permet ensuite l’affichage d’une projection 2D de cet espace de descripteurs à 17 dimensions, et
une navigation simple avec la souris, où les grains sont sélectionnés et jouées par proximité
géométrique, par métronome, en boucle, ou en continu dans l’enregistrement d’origine. Il est également
possible de spécifier un rayon autour de la position courante, qui sélectionne un sous-ensemble de
grains, dont un est joué au hasard. CATART est utilisé avec cette interface simple dans des contextes
musicaux de composition et de performance variés.
Pour Plumage, CATART a été adapté pour échanger des données avec VIRCHOR dans un environnement
22
http://imtr.ircam.fr/index.php/CataRT
http://www.cycling74.com
24
http://ftm.ircam.fr
23
Compte rendu du projet de recherche ENIGMES
p.50
2006-2007
distribué afin de pouvoir être contrôlé à distance (voir la section communication ci-dessous). Un
nouveau mode de synthèse polyphonique à été développé. Ce mode tient compte des voix de grains
qui peuvent sonner sur une certaine durée et en parallèle: durée du jeu (une fois, en boucle, ou en
continu), multiplicité des échantillons activés par les têtes de lectures et multiplicité des points
d’écoute.
5 MISE EN ŒUVRE
Plumage a été implémenté en mettant en commun des compétences en design d’interface (l’ENSCI), en
analyse et resynthèse sonore (l’IRCAM), et en réalisation d’interfaces immersives 3D interactives (le
LIMSI-CNRS). Après une phase de prototypage dans Rhino25 , un outil de modélisation 3D, l’interface a
été développée conjointement dans deux applications parallèles traitant de l’audio et du graphisme,
communicant entre elles, et communicant avec les utilisateurs via des périphériques externes. Le
développement de la plate-forme interactive a conduit à limiter les ambitions initiales (en particulier en
termes d’édition dynamique de trajectoires), mais a permis en contrepartie d’explorer des pistes qui
n’avaient pas été envisagées initialement sur le comportement interactif des plumes, des micros et des
capteurs.
5.1 Communications
Lors du lancement de l’application, CATART envoie à VIRCHOR un ensemble de paramètres spatiaux et
graphiques qui permettent de positionner les plumes dans l’espace (translation et rotation) et de décrire
leurs paramètres graphiques (couleur et taille). Ces paramètres sont dérivés d’un sous-ensemble des
descripteurs sonores, choisi par l’utilisateur.
Les interactions de l’utilisateur définissent la navigation dans l’espace audio-visuel en envoyant à
l’application graphique un ensemble de paramètres d’animation: taille et orientation des trajectoires des
têtes de lecture et des capteurs, vitesse de parcours de ces trajectoires, taille des capteurs... En
modifiant ainsi les trajectoires, on contrôle le parcours de l’espace géométrique et sonore, et donc
l’exploration des combinaisons entre les rendus graphique et audio corrélés.
6 PERCEPTION DES INTERACTIONS MUSICALES ET VISUELLES
La navigation sonore dans le dispositif revient à se déplacer dans un espace virtuel dans lequel des
objets sonnent lorsqu’on les touche. Cette modalité audiovisuelle nous rapproche de notre expérience
quotidienne du réel en ce qu’elle donne aux objets sonores des comportements physiques ou
symboliques situés spatialement dont la distribution et l’ordre musical variables définissent le parcours
de l’utilisateur. La représentation visuelle fait fonction de repérage et informe sur les potentialités
physiques sonores des objets rencontrés. Cette ressemblance avec l’expérience du réel tire parti de nos
capacités sensorielles à interpréter un nombre important de phénomènes, leur défection, variabilité... La
corrélation spatiale et temporelle des évènements audio et visuels et la capacité à se mouvoir apportent
une grande précision spatiale et temporelle pour percevoir les évènements et les objets situés.
Nous avons constaté une certaine rareté des rencontres entre une tête de lecture simple (un point) et
les objets sonores (plumes ou feuilles). Après avoir imaginé des curseurs à dimensions variables (point,
ligne, surface, volume), nous avons choisi d’intensifier les rencontres en mulipliant les têtes de lectures
et les micros et en créant un mécanisme permettant à la fois le brassage des grains, les variations
autour d’une position et d’une trajectoire et la polyphonie. Les jeux de têtes de lectures multiples
offrent une combinatoire de jeux plus riche qui augmente les rencontres avec les objets sonores et
produit des sons plus diversifiés. La variation et la capacité de mixage de plusieurs points d’écoute
(équivalent sonore du point de vue ici incarné par le concept de micros) offre un contrôle dynamique
sur l’écoute: soit elle a lieu depuis la position de la caméra, soit elle est placée sur le curseur ou la tête
de lecture.
Nous avons travaillé avec un ensemble de 200 échantillons et nous sommes rendus compte à l’usage
que malgré le grand nombre d’éléments sonores, on se familiarise très vite avec la navigation dans
l’environnement sonore obtenu et on en perçoit à l’oreille l’exhaustivité fondamentale. On pourrait en
avoir 10 ou 100 fois plus à disposition et très probablement s’y retrouver tout aussi facilement. Plus
profondément, la question qui se pose au musicien est celle de la déconstruction et de la
reconstruction. En effet, le découpage en grains déconstruit le son que la navigation doit reconstruire
d’une autre manière. Les structures intrinsèques des extraits sonores ou musicaux sont perdues lors du
découpage en grain. Ce qui reste est un classement des timbres composant le corpus sonore d’origine,
un peu comme si on rangeait l’ensemble des touches de couleurs composant un tableau dans l’ordre
des différentes gammes de couleurs.
L’expérience de cette redondance musicale a priori peut pourtant devenir un atout car elle témoigne
d’un potentiel à percevoir des variations plus importantes, elle nous encourage à approfondir les
recherches, dans le but de naviguer dans les corpus sonores et musicaux comme dans les
représentations de données. Se pose dès lors la question centrale des usages, difficiles à définir a
25
http://www.rhino3d.com/
Compte rendu du projet de recherche ENIGMES
p.51
2006-2007
priori, mais qui déterminent nécessairement les modes d’interaction et les attentes.
7 SYNTHÈSE ET PERSPECTIVES
Le projet Plumage a donc permis de mettre en œuvre un espace multimédia audio/graphisme de
navigation synchrone, cohérente et contrôlable en temps réel. Il offre de nouvelles perspectives pour la
composition musico-graphique et le jeu paramétré et continu de cet espace. De nombreuses questions
scientifiques sur la correspondance transmodale dynamique entre son et image restent encore à
explorer: la correspondance entre les dérivées temporelles des variables géométriques (vitesse et
accélération linéaires et angulaires) et leurs dépendances avec des effets sonores tels que l’effet
Doppler et le lissage des informations spatiales et sonores envoyées au synthétiseur. La double
communication entre l’audio et le graphisme offre des pistes exploratoires pour les effets de larsen
transmodal en créant des boucles résonnantes entre les composantes audio et graphique [2].
References
[1]
P. Daras, I. Kompatsiaris, T. Raptis, and M. G. Strintzis. MPEG-4 authoring tool for the
composition of 3D audiovisual scenes. In DCV ’01, page 110. IEEE, 2001.
[2]
C. Jacquemin and S. de Laubier. Transmodal feedback as a new perspective for audio-visual
effects. In NIME 2006, pages 156–161, Paris, France, May 2006. NIME.
[3]
H. W. Jensen. Realistic Image Synthesis Using Photon Mapping. AK Peters, Wellesley, MA, USA,
2001.
[4]
X. Rodet, J.-P. Lambert, R. Cahen, T. Gaudy, F. Gosselin, and F. Guédy. Sound and music control
using haptic and visual feedback in the PHASE installation. In NIME’05, pages 109–114, 2005.
[5]
D. Schwarz. Concatenative sound synthesis: The early years. Journal of New Music Research,
35(1), Mar. 2006.
[6]
D. Schwarz. Corpus-based concatenative synthesis. IEEE Sig. Proc. Mag., 24(1), Mar. 2007.
[7]
D. Schwarz, G. Beller, B. Verbrugghe, and S. Britton. Real-Time Corpus-Based Concatenative
Synthesis with CataRT. In DAFx-06, Montreal, Canada, Sept. 2006.
Plumage deux vues de la version de février
2007 avec les trois groupes de têtes de lectures
et à droites les micros en forme d’étoiles.
Compte rendu du projet de recherche ENIGMES
p.52
2006-2007
5. Peinture Sonore
Installation Visuelle - Sonore Interactive pour Saxophone Baryton en Mi b
Azadeh Nilchiani
Joan Bages i Rubi
Santiago-Toma_s Diez Fischer
Il s’agit d’un projet expérimental conduit par un groupe d’étudiants ayant participé au Workshop
ENIMGMES en Septembre 2006.
Par la suite, le projet a été mené quasi indépendamment par ses auteurs dans le cadre de leurs travaux
à l’ENSAD et à l’ENM de Pantin. Ce projet propose une navigation sonore dans un tableau vidéo, avec
comme interface un dispositif de caméra permettant de piloter la souris de l’ordinateur grâce au
mouvement du visage. Le tableau étant considéré comme une partition navigable. Outre l’originalité de
l’interface et les questions particulière qu’elle pose à l’interprète comme au compositeur, cette
réalisation pose un certain nombre de questions graphiques intéressantes. Azadeh Nilchiani a souhaité
utiliser des matières animées, des flux concentrés dans certaines parties de la toile sous forme de
régions aux contours flous qui viennent parfois se chevaucher. Du point de vue des modalités de
navigation et des outils de repérage, nous sommes ici dans un paradigme évidemment plus complexe
que dans les autres métaphores même si le dispositif en l’état ne répond que partiellement à ces
questions. Ici les régions détectées sont mobiles et progressives, ce qui pose de nouveaux défis. Le
groupe des auteurs de ce projet a souhaité créer une pièce musicale pour le concert avec ce dispositif.
Une première réalisation de la pièce a été présentée lors du Concert ENIGMES donné à Pantin le Mardi
20 mars 2007.
RC
"Peinture Sonore pour Saxophone Baryton en Mi b et
Installation Visuelle - Sonore Interactive" (1.0)
Compte rendu du projet de recherche ENIGMES
p.53
2006-2007
Santiago-Tomás Diez Fischer
Azadeh Nilchiani
CREA – Systèmes Informatiques César Mauri
Joan Bagés i Rubí
1. Conceptualisation
2. Antécédents de « Peinture Sonore »
3. Équipe de travail
4. Proposition artistique
5. Proposition technique
6. Schéma du dispositif
7. Conclusion
8. Références
Compte rendu du projet de recherche ENIGMES
p.54
2006-2007
1. Conceptualisation:
"Peinture Sonore pour Saxophone baryton en Mi b et Installation Visuelle Sonore Interactive" est une œuvre musicale mixte (électroacoustique et instrumentale)
pour saxophone et dispositif musical interactif. Cette pièce a été créée à partir de l’idée
de représenter visuellement certaines caractéristiques sensibles du son. Mais aussi à
partir de la représentation visuelle des possibles changements de couleurs sonores « le
timbre » contrôlables en temps réel. Ainsi, l’image issue du son devient également une
partition interactive.
2. Antécédents de « Peinture Sonore »
- « Cd Peintures Sonores » sur la peinture d’Araceli Rubí - Cd Hazard Records - Joan Bagés. (
http://www.archive.org/details/hr047 )
- « Peintures Sonores ». Concert interactif dramatique - Joan Bagés et Carmen Platero.
( http://creaciodigital.upf.edu/~m2308/arxius-web/audios/PeinturesSonores.mp3 )
3. Équipe de travail:
- Santiago-Tomás Diez Fischer – Design Sonore.
- Azadeh Nilchiani – Réalisation visuelle.
- «CREA – Systèmes Informatiques César Mauri » – Développeur et programmeur de
l’interface de captation du geste « Ratolí Facial ».
- Joan Bagés i Rubí – Programmation Pure Data/Framestein et MAX/MSP et Design Sonore.
4. Proposition artistique
Pour cette pièce, on est partie de l’idée de transposer le parcours visuel du
« regard » au travers de différentes zones géographiques d'une même image (espace
bidimensionnel) dans l’espace multipolaire de la composition musicale ou sonore.
C’est-à-dire, donner faire évoluer l’image de la représentation/partition au cours
du jeu ?
Le point de connexion est le geste de se déplacer à l’intérieur de l’image en
déplaçant le regard ou le visage. Quant on se trouve face une image on peut la
percevoir de façon générale. On peut percevoir soit la globalité, mais cela c’est une
impression vague, soit s’arrêter sur certains détail, soit suivre des parcours et percevoir
de façon très claire et localisée la texture, la forme et les couleurs d’une zone
géographique très précise. De cette façon, on peut concevoir l’image comme un
espace, comme un territoire qu’on explore. C’est à partir de l’enchaînement de ces
mouvements localisées que l’on peut rentrer dans le domaine de la temporalité.
L’utilisateur sélectionne certaines parties de l’image pour extraire la couleur,
l’analyser et changer le timbre du son. Donc à chaque couleur, nous avons associé un
timbre concret.
Le tableau devient ainsi un espace avec de multiples itinéraires. Le contenu
visuel est quelque chose que l’on découvre au fur et à mesure que l’on voyage
musicalement à l’intérieur de l’image. Les chemins possibles que nous pouvons suivre
ou créer sont infinis.
Compte rendu du projet de recherche ENIGMES
p.55
2006-2007
Concert à Pantin : Joan au fond à droite pilote le suivi dans l’image
5. Proposition technique
Pour développer et construire cette pièce nous nous sommes basés sur le schéma suivant de
design et d’analyse de Systèmes Musicaux Interactifs:
WANDERLEY, M. et DEPALLE, P. Contrôle gestuel de la synthèse sonore. (INTERFACE HOME
MACHINE ET CRÉATION MUSICALE). Sous la direction Hugues Vinet et François Delalande.
1999. Hermes Science. p. 146.
Gestes :
Le geste pour interagir avec l'interface est le mouvement de la tête de l'utilisateur pendant que
celui-ci observe l’image. Le geste de contrôle de l'installation est donc le geste de la tête. Il permet de
contrôler la position x,y de la souris sur l’écran.
.Captation du geste: Captation du mouvement de la tête par « webcam ».
Compte rendu du projet de recherche ENIGMES
p.56
2006-2007
Logiciel du captation du geste : Le système « RATOLÍ FACIAL » nous permet de récupérer numériquement
le mouvement de la tête. Le système consiste à sélectionner certaines zones de l’image. Quant on ne
bouge pas la tète, cette à dire, que on ne bouge pas la suris, le système comprend cette action comme
la volonté de sélectionner une certaine zone de l’image.
Contrôleur gestuel :
.Interface : L’image et la vidéo qui apparaît sur l’écran sont les interfaces du contrôleur. On a une vidéo,
qui est la représentation visuelle de la partie sonore de base (la bande créée et la composition pour le
saxophone baryton en Mi b). Et nous avons aussi une image fixe avec de couleurs qui invite a
l’utilisateur a changer le couleur (timbre) du son à temps réel.
L’utilisateur pourra à tout moment sélectionner une des différentes parties de la vidéo ou de l’image fixe
pour changer le timbre du son. Donc c’est l’analyse des couleurs de la partie sélectionnée de l’image qui
fait changer le son.
Les paramètres de l’image que l’on utilise pour changer les sons sont :
-La couleur RGB
-La saturation de la couleur
-La luminescence
Compte rendu du projet de recherche ENIGMES
p.57
2006-2007
Production Sonore :
Comme dans d’autres projets antérieurs de Peintures Sonores nous avons utilize la synthèse granulaire
car elle offer des facilités de contrôle et un résultat musical de qualité. D’abord nous avons fait une
séance d’enregistrement d’objets sonores a l’E.N.M. de Pantin. On a créé un banc de sons. Et a partir du
banc de sons et des autres sons on a composé avec Peak, Protools et différents « pluggins » une bande
fixe « Peinture-Sonore-Électronique ». Sur l’analyse avec Audiosculpt de la bande composée on a créé la
partition du saxophone.
Avec l’interaction du performer avec l’image, on arrive a changer à temps réel le timbre de la
musique composée (la bande plus la partie du saxophone baryton en Mi b) tout créant un nouvelle
réalité selon les couleurs de l’image sélectionnés.
Correspondances image et son :
.Couleur: À chaque couleur nous avons associé une enveloppe spectrale déterminée. La couleur ROUGE
représente le son tel qu’il est, avec toute sa richesse spectrale. Et au fur et à mesure que l’on se
déplace vers des couleurs plus claires, le son devient plus aigu, gelé.
.Saturation: Est représenté par le contrôle des réfractions de la réverbération
.Luminescence: Est représenté par le contrôle des fréquences de coupure de la réverbération.
6. Schéma du dispositif :
écran
PC capture vidéo
MAC son : patch MAX/MSP
-Audio: On charge la bande sonore
composée. Le patch MAX/MSP reçois
aussi par l’entrée du microphone le
son du Saxophone baryton en Mi b.
-« RATOLI FACIAL » pour la
captation du geste de la tête
et sélection des parties de
l’image.
-MIDI: Reçois l’analyse de couleurs de
l’image qui provienne du PC.
-Patch Framestein / Pure
Data pour charger la vidéo et
l’image fixe et analyser les
couleurs de la partie de
-Traitement: Avec la mise en
correspondance entre la gamme de
couleurs RGB et le son, on arrive a
changer timbre du son en temps réel.
Compte rendu du projet de recherche ENIGMES
p.58
2006-2007
7. Conclusion :
Cette première version a été présentée en concert le 20 de mars du 2007 à l’École Nationale de
Musique de Pantin.
Bien que nous soyons satisfaits de cette première version, nous la considérons comme une
première version 1.0 donc nous croyons qu'il y a plusieurs aspects à améliorer pour une version 1.1.
- Il faut chercher une interaction plus directe entre l'utilisateur et le dispositif, c'est-à-dire, le geste
humain, et l'image. Travailler davantage la gestuelle et ses répercussions sur l'image afin que
l'utilisateur navigue réellement à l'intérieur de l'image, tout en se déplaçant plus librement devant
l'écran. Par exemple, on peut utiliser l'effet Zoom comme résultat de l'approchement et l'éloignement de
l'utilisateur à l'écran.
-Il nous faut également réfléchir à la mise en scène. Il faut penser à la manière de présenter la pièce au
public. Au placement des différents dispositifs techniques sur scène afin de rendre l’interaction plus
poétique, plus compréhensible et plus aboutie.
-Remplacer la caméra web par une caméra infrarouge pour ne pas dépendre de la lumière aléatoire de
chaque sale de concert.
-Améliorer les associations entre couleurs et sons afin de leur donner plus de sens.
-Dans cette première version 1.0 on relie la couleur a l’enveloppe spectral du son. Mais il nous manque
de trouver l’association possible entre le son et les valeurs de luminescence, et les valeurs de saturation
de couleurs.
8. Références:
BOSSEUR, Jean Yves: http://www.jeanyvesbosseur.net/
CREA : http://www.crea-si.com/esp/inicio.php
WANDERLEY, M. et DEPALLE, P. Contrôle gestuel de la synthèse sonore. (INTERFACE HOME MACHINE ET
CRÉATION MUSICALE). Sous la direction Hugues Vinet et François Delalande. 1999. Hermes Science.
Compte rendu du projet de recherche ENIGMES
p.59
2006-2007
IV-Questions et réflexions
1.La recherche art et science à l’ENSCI
Musique et création industrielle : le design sonore en question
J’ai été chargé de mettre en œuvre un enseignement et un studio de création sonore à l’ENSCI en 2000.
A l’origine, le projet portait sur le désir d’enseigner le design sonore et d’ajouter le sens de l'ouïe à
celui de la vue et du toucher des objets. Aujourd’hui, l’enseignement couvre en théorie les domaines du
son et de la musique dans de nombreuses applications. Il s’agit donc d’un enseignement et d’une
pratique transversale dont le champ d’action est plus large que celui du « design sonore » encore trop
confiné et confus. L’enseignement comporte des cours, des studios de création et des projets de
recherche.
ENIGMES est un projet de recherche interdisciplinaire en collaboration avec d’autres écoles (ENSAD,
ENST, ENM Pantin, Université Paris XI) des chercheurs de l’Ircam et du LIMSI et des artistes. Le projet
est financé par l’ENSCI, la DAP et a obtenu la Bourse Pierre Schaeffer de la SCAM en 2006.
Un potentiel fondamental
La recherche dans les écoles supérieures d’art et de design est le développement normal de
l’enseignement qui y est dispensé aujourd’hui. Le projet historique du design est d’enraciner le monde
contemporain dans l’art et inversement. Le objets du monde contemporain devient de plus en plus
complexes et les créateurs d’aujourd’hui sont des chercheurs. Paradoxalement on n’enseigne pas la
création dans les grandes écoles et les universités, ni la recherche dans les école d’art et de design. Les
élèves designers accèdent difficilement à des postes de conception dans les domaines technologiques
et scientifiques et les scientifiques ne sont pas armés pour des projets créatifs. Les projets
interdisciplinaires sont rares et on se tourne le dos dans l’attente que l’autre voudra bien reconnaître sa
légitimité. La création artistique appliquée peut pourtant apporter une aide substantielle à des projets
de recherches menés à l’échelle nationale ou dans les laboratoires de recherches travaillants sur des
sujets variés. Elle peut permettre en particulier de développer des perspectives que les chercheurs
professionnels n’ont pas la possibilité d’étudier et d’envisager des applications, des débouchés ou des
formes de présentations des recherches impraticables dans le cadre des projets des centres de
recherches. L’artiste et le designer sont des créateurs de sens focalisés sur les question d’appropriation
et d’usage. Ils possèdes des compétences approfondies dans le champs de la conception, scénarisation,
modélisation, communication. Les designers ont également une savoir faire solide dans le
développement de projets industriels. Grâce à de tels apports, à condition que ces projets bénéficient
d’un bon encadrement, il est possible générer un nombre important de pistes de développement de
qualité et d’adjoindre à ces projets des partenariats industriels. L’ENSCI dispose d’un encadrement
pédagogique spécialisé dans les projets de conception industrielle. De tels dispositifs ont des vertus
pédagogiques importante et donnent aux étudiants l’occasion une initiation en vraie grandeur qui leur
donnent une chance de déboucher sur des réalisations à une autre échelle.
Une situation historique problématique (point de vue)
La recherche dans les écoles supérieures d’art et de design se heurte à un problème de formation et de
statut des enseignants. Les écoles supérieures d’art dépendent du Ministère de la Culture et pour
l’ENSCI également du Ministère de l’Industrie. A l’heure actuelle, seules les universités et les écoles
supérieures dépendant de l’éducation nationale sont habilitées à délivrer des M(astere) et D(octorat).
Cette situation constitue un frein considérable au développement de la recherche. Les raisons sont
principalement le fait de l’éducation nationale et universitaire : la non reconnaissance des diplômes
d’enseignants artistiques, le refus de prendre en compte les ouvrages d’art comme valeurs
pédagogiques comparables aux travaux écrits… mais également la désorganisation de la filière artistique
et en particulier son manque de coordination au niveau européen. On peut également déplorer le
manque d’enseignements scientifiques adaptés dans nos écoles. Enfin, les enseignants étant
essentiellement des vacataires, il est problématique de leur demander sérieusement de gérer des projets
de recherche. Quant aux rares titulaires, ils n’ont pour le moment pas d’heures consacrées à la
recherche dans leur emploi du temps. A terme, il est probable qu’une nouvelle génération d’artistes
universitaires viendra remplacer celle des artistes enseignant, ce qui n’est pas un problème dans les
pays où les enseignements universitaires comportent une partie pratique conséquente, mais c’est très
rarement le cas en France. Pierre Schaeffer reprochaient déjà aux compositeurs électroacoustique d’être
trop intelligents.
Une recherche collaborative portant sur des questions et des contenus définis et partagés
Nous souhaitons faire prendre conscience aux étudiants de l’éthique et des méthodes de la recherche
sous la forme de quelques règles simples :
• Toute hypothèse est énoncée et vérifiée. Elle fait l'objet d'un développement théorique et
d’une modélisation expérimentale.
• Toute expérience est validée soit par des mesures directes soit par le biais de tests
utilisateurs.
• Un travail de recherche documentaire est mené avant ou pendant le projet et les sources
sont explicitement citées.
• Un travail écrit et/ou une communication interne audio/visuelle descriptive accompagne
chaque étape du développement du projet et précise les contributions du travail réalisé
par rapport à l'état de l'art.
• Le contenu de la recherche est partageable, partagé avec les membres de l’équipe de
développement et validé par les responsables scientifiques. Le travail est partagé le plus
équitablement possible entre les membres de l’équipe selon les compétences et
l’engagement de chacun.
• Les résultats font l’objet d’une communication et d’une publication sous la forme
démonstrative la plus adéquate possible26.
2.Terminologie : partition navigable ou quoi ?
3.Liberté et contrainte
Entre notation et instrument, une zone floue. Tentative d’éclaircissements
La principale question de ce projet réside dans les véritables possibilités de jeux des notations actives.
L’interface physique transformable ou l’interface écran 2D ou 3D constituent 2 approches alternatives
ayant des conséquences importantes sur les modalités de jeu.
La partition est principalement une écriture dans l’espace de la composition temporelle et de la
distribution des registres (pupitres, modes de jeux…) d’une musique. L’instrument lui n’a pas de mode
de représentation du temps. C’est simplement un objet jouable. A l’inverse, la partition n’est pas un
objet jouable car elle ne possède pas de modes de jeux. On peut y naviguer avec les yeux ou le doigt,
mais le résultat sonore ne correspond pas à la composition musicale écrite.
Une première approche possible consiste donc à munir l’instrument d’une représentation du temps, une
autre à transformer une partition en un objet jouable.
Un instrumentiste sans partition peut produire de la musique en improvisant, l’improvisation étant une
forme de musique générative orale comme en témoigne le travail d’Alain Savouret sur cette question.
Elle utilise occasionnellement des modèles et des plans mémorisés par la mémoire ou les doigts, mais
les bons improvisateurs essaient de se détacher des habitude de jeux, de pervertir les plans, de se
mettre dans un état de réceptivité pour entendre et laisser parler leur corps, le conscient étant comme
un manipulateur de marionnette et le corps comme une marionnette vivante.. L’improvisation peut se
comprendre comme un dialogue entre le corps (avec l’instrument) et l’esprit (avec l’imagination).
L’interprétation est dans cette perspective un dialogue à 4 : l’instrument, le corps, l’esprit et la partition.
Le but de la lecture musicale est de faire en sorte que la musique passe directement de l’œil aux mains
pour libérer l’esprit des tâches techniques d’exécution et qu’il puisse se concentrer sur l’interprétation.
La partition apparaît comme une excroissance dans la boucle d’interaction naturelle de l’expression
musicale que l’improvisation cherche à retrouver.
26
sauf en cas NDA dans le cas de partenariat de développement
Compte rendu du projet de recherche ENIGMES
p.61
2006-2007
Schéma traditionnel de lecture de partition
Esprit/imagination
Partition
Corps/mains
Ecoute/
son
Instrument
______________________________________________________________________________________
Partition navigable
Esprit/imagination
Corps Œil
Partition
Mains
Ecoute/
son
instrument
Suffer sur, remixer ou interpréter l’œuvre
Une navigation libre dans une musique peut se contenter de quelques notes comme matériau et varier
dessus à l’infini. Le remix consiste à faire une nouvelle version en modifiant des composantes
importantes du déroulement comme des matériaux. L’interprétation consiste à jouer la pièce en variant
certains paramètres modifiant peu mais de façon toutefois sensible le modèle. Ces trois attitudes sont
fondamentalement différentes mais toutes trois sont possibles avec les dispositifs de partitions
navigables
La palette d’objets sonore
On pourrait comparer la partition navigable à une table sur laquelle sont disposés un ensemble
d’objets. Chacun de ces objets produisant des bruits divers selon qu’on les touche, qu’on les déplace,
qu’on les heurte… Cela ne constitue pas une partition mais définit une sorte de palette d’instruments
qui a ses règles de jeu et dont les résultats sonores a priori se ressembleront. Un joueur exercé peut en
tirer évidemment n parti très différent de celui qui découvre.
Mise en mouvement du joueur et notion de guide
Dans le dispositif PHASE un guide haptique dessine le parcours canonique que le joueur suit et dont il
peut s’écarter légèrement. Dans Feuillage (cf. § ouvrages), une ligne aimantée constitue le fil conducteur
de l’interprète à l’intérieur de la partition. Contrairement à une palette d’objets le parcours temporel et
spatial permet de donner un déroulement à la musique. Pour pouvoir jouer il théoriquement important
de disposer des possibilités suivantes :
contrôler le mouvement
Compte rendu du projet de recherche ENIGMES
p.62
2006-2007
en vitesse
en écart au guide
disposer d’outils de déclenchement des évènements sonores offrant
plusieurs modes de jeux et un contrôle des nuances.
Techniquement ce mouvement peut s’opérer soit en se déplaçant dans la partition soit en faisant se
déplacer la partition. Ces deux manières de voir les choses ont des effets paradoxalement assez
contraignants sur le résultat. Thechniquement, le plus simple est de faire bouger l’image de fond et non
le curseur. Visuellement toutefois, on n’a pas vraiment l’impression de se déplacer. Il faut aussi
permettre au joueur27 de se sentir le plus libre possible et faire en sorte qu’il puisse se repérer
facilement.
Un même objet visible, jouable et audible
Les déclencheurs ou triggers
Simple
Multidimensionnels
Polyphoniques
Comportements visuels et sonores des objets excités
4.transformabilité et jouabilité de l’interface musicale
5.Le designer ou le compositeur de partition navigable, un nouvel art
entre composition et interprétation
Traditionnellement, la composition électroacoustique se pratique en deux temps : 1 - la création des
éléments sonore et 2 - l’assemblage de ces élément28. Le 3ème temps étant celui de la diffusion ou de la
performance. Avec la partition navigable, une étape intermédiaire vient s’ajouter entre la composition et
la performance. La pièce est adaptée, c’est-à-dire décomposée en composantes jouables, puis
recomposé sous la forme d’une partition navigable en vue d’être jouée. Cette adaptation de la pièce
comporte deux aspects complémentaires qu’on pourrait désigner par la topographie et topophonie.
La création de la topographie et de la topophonie sont bien entendu intrinsèquement liées l’une à
l’autre, autant par la métaphore d’interaction que par la méthode de travail. On peut commencer par
l’un ou l’autre ou ajuster l’une et l’autre au fur et à mesure. Techniquement il est plus facile de
commencer par la topographie, à condition d’avoir bien défini préalablement les modalités d’interaction
et d’en vérifier la validité.
Topographie
La création d’une topographie consiste en la réalisation d’une forme graphique (la partition navigable
proprement dite). Cette création dépend des modalités de jeu et de la pièce.
Dans Piège à Rêve(cf.chap. III-1.), les dessins sont disposés sur la toile relativement librement. De façon
à remplir l’espace le mieux possible. Plus la dimension de chaque forme est importante, plus le jeu à
l’intérieur du motif est fin, plus la forme est visible de loin. L’ensemble constitue une palette dont
l’ordre de jeu n’est pas défini par le graphisme. Les images sont des représentations empiriques, mi
symbolique mi technique, de traits, motifs et phrases sonores calligraphiés à l’écoute des sons. La
calligraphie est donc une opération manuelle que le compositeur peut réaliser directement.
Dans Feuillage (cf.chap. III-2.) la partition est continue et déroule un chemin sur lequel des évènements
sonores sont représentés sous forme d’icônes. Des variantes des représentations sont laissées à
l’utilisateur à travers les choix issus des statistiques des jeux précédents. La calligraphie est ici une
définition des chemins et un choix parmi des formes graphiques existantes.
27
28
On utilise ici volontairement le terme de joueur, qui joue de la musique mais aussi par référence au jeu vidéo
Ce modèle varie selon les compositeurs, les ouvrages et les écoles
Compte rendu du projet de recherche ENIGMES
p.63
2006-2007
Dans Les Iles (cf.chap. III-3.) les formes sont définies à l’avance par une gamme de dessins archétypaux.
Il est plus difficile d’en faire de nouvelles, car cela implique de créer des reliefs très précis.
Pour Plumage (cf.chap. III-4.)enfin, la topographie change en fonction du déplacement dans les agrégats
de plumes, mais également en fonction de choix de représentation en temps réel et du choix des
descripteurs d’analyse sonores. La calligraphie est ici définie en grande partie par les principes de
l’application, mais laisse une grande liberté de choix.
La création de ces topographies peut être assez lourde et complexe si elle ne s’inscrit pas dans une
modalité d’usage bien définie et des méthodes et outils adéquats. C’est la raison pour laquelle nous en
avons exploré quelques unes (cf. Ouvrages chap. III).
Topophonie
La création d’une topophonie consiste à attribuer des comportements sonores en fonction des gestes
courant sur la topographie.
Pour que les gestes aient une vie, ils doivent être à minima partiellement situés sur la topographie.
Il s’agit ensuite de définir des mouvements et de les relier à des actions sonores. De nombreuses
modalités sont possibles (cf.chap.V-2.). Nous en avons privilégié quelques unes qui à l’expérience nous
ont parues à la fois simples et efficaces. Ces modalités peuvent être mise en œuvre grâce à ENIGMESLib (cf.chap. V-1.). La sonorisation d’une plaque dans Les Iles (cf.chap. III-3.) est un exemple intéressant
car la topographie n’est pas modifiable une fois la plaque choisie. Il s’agit alors de la garnir de sons,
mais également et surtout de composer les potentiels musicaux, autant dire la musique qui en sortira.
Ce travail implique de modifier les sons en fonction des figures pour limiter les effets non souhaités et
faire ressortir des détails intéressant, articuler musicalement les transitions par exemple entre deux
sillons conjoints. Ce travail se fait en 3 temps : 1-définition de la composition musicale en relation avec
le choix ou la création topographique, 2- Composition proprement dite 3-ajustement en vis à vis des
répétitions.
6.le concert électronique comme spectacle
Le réel et le montré
Il n’est pas rare de voir sur la scène électronique une longue table sur laquelle, comme pour les
conférences sont régulièrement alignés une série de laptops (ordinateurs portables) dont les couvercles
relevés forment une espèce de créneau derrière lequel les musiciens se barricadent pendant toute la
durée du concert comme des arquebusiers dans une forteresse. On entrevoit parfois à la lueur blafarde
des écrans une expression de douleur ou de satisfaction. Si c’est la seule façon de faire de la musique
live, je préfère l’orchestre de haut-parleurs. On y voit aussi des objets statiques et les logos des
marques mais ce ne sont pas les mêmes, c’est une certaine forme d’exotisme.
Lorsqu’un instrumentiste joue de son instrument en public, qu’il le reconnaisse ou non, il est en
représentation. Cela se traduit par une composition théâtrale plus ou moins marquée. Le compositeur et
homme de théâtre Pierre Boswillwald évoque à ce propos l’exagération des gestes de Pierre Henry à la
console de diffusion. On pense également aux mouvements du haut du corps, aux effets de râles, à une
certaine forme de chorégraphie certes minimaliste de nombreux solistes classiques. Mais plus
simplement de tout un environnement théâtralisé, un cérémonial, l’invention du chef d’orchestre, dont
on ne nie aucunement l’utilité, mais qui de facto se produit comme danseur d’une danse technique,
comme le musicien est acteur d’un jeu technique. Bref, si le concert est un spectacle, le concert
électroacoustique l’est également. Un spectacle étrange où a règle est un relatif silence visuel dont on
pense qu’il favorise l’écoute musicale, ce que personne n’a vraiment démontré à ma connaissance. Il est
certain qu’au milieu du vacarme visuel, un peu de répit ne fait pas de mal, mais l’absence de support
visuel est également une mortification dont il n’est pas sûr que les effets sur l’écoute et l’imagination
soient si positifs qu’on le dit habituellement. Si j’utilise ici le terme de mortification, qui peut paraître
péjoratif ou provocateur, ce n’est pas pour soulever les réactions exaspérées de mes confrères, un jeu
qui ne m’a jamais intéressé, mais pour exprimer la nature dramatique induite par la situation
acousmatique29. C’est bien la dé-corrélation de la vue et de l’ouie adjointe à l’ambiguïté de la cause des
sons électroacoustique qui lui confère une couleur particulière, musique de l’au delà, d’un autre temps,
de la mémoire et de la mort. Il est rare que la musique électroacoustique soit utilisé au cinéma parce
que généralement elle fait peur, elle charge dramatiquement. La part culturelle de ce sentiment est
importante mais partielle. Une fois mieux incarnée, ce sentiment évolue, comme le montrent les concerts
du piège à rêve par exemple.
Si les exemples précédents montrent l’existence de la théâtralisation dans le concert, ils montrent
également que cette théâtralisation n’est pas assumée, c’est-à-dire rarement érigée en modèle. On ne
parle pas ici du théâtre musical, de l’opéra, du film musical et des nombreuses autres formes de
29
Terme emprunté par Pierre Schaeffer à Jérôme Peignot par référence à Platon et aux pythagoriciens, pour désigner
une dissociation entre la vue et l’ouie, une écoute aveugle (Marc Pierret entretiens avec Pierre Schaeffer Belfond
1969)
Compte rendu du projet de recherche ENIGMES
p.64
2006-2007
spectacles sonores qui sont des formes de spectacle et non des concerts théâtralisés.
Il est arrivé à Georges Aperghis, ainsi que Mauricio Kagel, Heiner Goebbels et d’ autres de théâtraliser
des concerts, mais il s’agit généralement de musique instrumentale ou vocale, rarement
électroacoustique.
Compte rendu du projet de recherche ENIGMES
p.65
2006-2007
V-Outillage technique
1.Développement informatique ENIGMES-Lib
Développement réalisé par Roland Cahen et Jean Philippe Lambert, avec la participation de Diemo
Schwarz.
Nous avons développé une librairie d’abstractions Max MSP (ENIGMES-Lib30) dédiée à la reconnaissance
de la position d’un pointeur dans une forme prédéfinie.
Cet ensemble d’objets interdépendants comprend diverses fonctionnalités utilisables soit avec la
tablette graphique, soit avec la souris, soit avec le “piege à rèves” (voir plus haut).
Une notation active implique un travail graphique et une interprétation des actions relativement aux
objets graphiques concernés. C’est la fonction de la librairie ENIGMES.
La programmation du système consiste a définir des figures repérées dans l’espace de navigation et à
les sonoriser.
Cette opération se fait en trois temps, en coordonnant trois instances du programme.
- les détecteurs chargés de détecter les coordonnées du pointeur dans une forme donnée.
- les générateurs sonores chargés de produire le son
-
le mapping qui permet de relier les paramètres significatifs issus des détecteurs
aux contrôles des paramètres sonores des générateurs.
Représentation symbolique dans Max/MSP du fonctionnement de la librairie ENIGMES. Le schéma se lit
de haut en bas dans le sens de la chaîne de traitement.
30
Roland Cahen, Jean-Philippe Lambert et la participation de Diemo Schwarz
Les interfaces utilisées
La souris
données utilisées en sortie: x,y(position), clic(utilisé comme contact), delta (accélération)
La tablette graphique
données utilisées en sortie: x,y(position), tiltx, tilty (orientation du stylet), contact, pression, présence
sur la tablette
L’interface textile (ou piège à rêve)
données utilisées en sortie: x,y(position), contact
1/Les détecteurs
Ils permettent de connaître la position du pointeur (souris, stylet ou contact) à l'intérieur d'une forme
Deux types de détecteurs :
- Surfaces :
rectangles
zone rectangulaire définie à l’intérieur de laquelle on identifie : si on est dedans/dehors et la position
x,y à l'intérieur du rectangle
anneaux
zone circulaire ou annulaire définie : on identifie si on est dedans/dehors, la distance au bord intérieur
ou au centre, un angle en valeur absolue (entre 0. et 1.), le nombre de tours effectué à partir du contact
- Courbes de tracé
courbe ftm31
la courbe ftm est une courbe de forme libre ou tous les points sont enregistrée lors d’un parcours
d’enregistrement. En relecture on identifie la position du pointeur sur la courbe en valeur absolue en
fonction du temps d’enregistement(entre 0. et 1.), le n° du point le plus proche sur la courbe, la
distance à la courbe (du point le plus proche sur la courbe), si on est sur la courbe ou non, si on est
dans la région de la courbe ou non
La librairie ftm offre plusieurs avantages pour réaliser ce type de détecteur par rapport à un patch Max
traditionnel : l’utilisation des matrice permet de ranger simplement toutes les position des points de la
courbe, des les sauver avec le patch, de pouvoir en avoir un nombre important. Pour la détection on
utilise l’objet mnm.manalahobis qui permet de retrouver facilement le point le plus proche.
3/Les générateurs
grain player32
Permet de jouer un son enregistré par lecture granulaire (interpolation de plusieurs microboucles)
permettant de se déplacer dans le son sans altération de la hauteur. Les principales commandes sont la
position dans le temps (0. 1.) la transposition hauteur, le volume.
scratch player
Effet comparable au scratch de vinyl ou de bande magnétique, c'est-à-dire la position du pointeur
modifie directement la position temporelle dans le son et la vitesse du mouvement modifie la hauteur
du son. Les commandes sont la position dans le temps et le volume
position player
Permet de jouer un son à sa vitesse normale en faisant simplement varier l'intensité en fonction de la
vitesse du mouvement. Le premier point de contact détermine le point de début de la lecture. Les
principales commandes sont la position dans le temps (0. 1.) qui définit le début de la lecture, le
volume et sa pente d’atténuation après le relâchement (release).
31
FTM est une librairie objets de Max/MSP développée par l’équipe Applications Temps Réel de l’IRCAM
www.ircam.fr/ftm
32
Ce générateur utilise l’objet sogs~ de Norbert Schnell
Compte rendu du projet de recherche ENIGMES
p.67
2006-2007
simple player
Un simple player dont les commandes sont : play, stop, volume.
Distribution de la librairie ENIGMES
La librairie ENIGMES est disponible en ligne. http://perso.orange.fr/roland.cahen/download/ENIGMES-Lib1.07.zip
Elle nécessite toutefois d’autres librairies et objets pour fonctionner :
Kn-Lib Collection d’abstractions Max/MSP Roland Cahen
http://perso.orange.fr/roland.cahen/download/KnLib2.7.zip
PHASE-Lib Collection d’abstractions Max/MSP Roland Cahen et Jean-Philippe Lambert licence:
IRCAMForum
Ftm et mnm http://www.ircam.ftm Librairie objets pour max MSP (Norbert Schnell, Frederic Bevilaqua…)
sogs~Smooth overlap granular synthesis. Developer: Norbert Schnell Distribution/licence: IRCAMForum
Lobjects http://arts.ucsc.edu/ems/music/research/lobjects.readme.html
Tristan externals http://web.media.mit.edu/~tristan/maxmsp.html
Évolutions de la librairie
Pour le moment aucun nouveau développement n’est prévu formellement. Nous pensons que le principe
est généralisable et qu’il serait souhaitable que la communauté des utilisateurs, parmi lesquels il y a
plusieurs programmeurs travaille dans le cadre d’un développement collaboratif au perfectionnement de
ce outil. Par ailleurs, de nouveaux projets de développements pourraient permettre de le faire évoluer
en fonction de besoin spécifiques.
Une première approche irait vers une plus grande généricité : un outil de navigation sonore multi usage
:
nouveaux détecteurs
nouveaux générateurs
nouvelle ergonomie de mapping
évolution facilité des régions au cours du temps
transportabilité et adaptabilité des créations
Une deuxième approche consisterait à développer une version simplifiée de l’interface utilisateur. Marine Rouit
propose d’aller vers un système de glisser - déposer pour les sons.
En poussant cette idée, on imagine réaliser toutes les opérations directement sur l’instrument : choisir les formes
des régions, leurs positions, y placer les sons, décider et ajuster les contrôles…etc.
2.Notions d’interaction sonore
Petite typologie des interactions sonores et musicales
Il est essentiel de distinguer la mécanique de l’interaction de l’expression ou du résultat musical. La
bonne analyse de la mécanique ne garantit pas le potentiel expressif ni le résultat musical. Toutefois
elle y participe et c’est souvent à cause d’une mauvaise décomposition des éléments d’interaction que
le résultat est grossier.
La liste ci-dessous n’est pas une grammaire, mais donne quelques points de repère hiérarchiques pour
élaborer des stratégies selon les besoins.
Type d’interaction : niveau de complexité
Le plus souvent une interaction très simple est préférable à une interaction complexe. Il est important
de toujours se poser la question des objectifs à atteindre plutôt que de penser qui peut le plus peut le
moins. Par exemple si l’objectif est d’ouvrir une porte, un simple évènement ou ordre « ouvre » suffit
quelle qu’en soit la forme. On peut ensuite avoir besoin de la refermer, la trouver dans le noir, jouer à
la faire grincer, mais c’est une autre affaire.
L’interaction sonore la plus simple est une interaction à un seul état
Il s’agit simplement du déclenchement d’un évènement sonore, début de son ou n’importe quel autre
évènement. On considère implicitement que la séquence s’arrêtera toute seule une fois terminée.
Bascule (binaire)à 2 état
Compte rendu du projet de recherche ENIGMES
p.68
2006-2007
Evénement 1- évènement 2
Par exemple la mise en route et l’arrêt d’un son ou d’une voie (piste), mais également bascule binaire
d’état par exemple une modulation sur 2 tons…etc.
Sélecteur à n états
Le fait de choisir un état parmi n, par exemple transposer selon un mode à n degrés.
Variation continue
Variation d’un paramètre continu, par exemple la variation d’intensité d’un son continu
Variation d’un paramètre continu entre deux limites
Variation conjointe de plusieurs paramètres continus dans leurs limites propres
Evènement ou variation conditionnelle
conséquent
antécédent
consécutif
synchronisé
Modes d’interaction
Notion d’évènement sonore ponctuel
Un évènement sonore est une action qui affecte le son à un moment donné. Cette action souvent
réduite au commencement d’un nouveau ‘son’ recoupe en réalité d’autres cas de figures : la fin d’un
son, un changement survenu dans un flux sonore. Mais également un événement peut modifier les
paramètres d’évolution d’un paramètre sonore individuel ou d’un ensemble de paramètres.
Le rappel d’un preset d’état d’un ensemble de paramètres incluant est un événement sonore.
Evolution programmée
L’évolution programmée d’un paramètre n’est ni un événement ni un contrôle continu, c’est le plan
génératif ou algorithmique du déroulement qui dirige. L’interaction consiste à modifier les paramètres
d’évolution ou la vitesse du déroulement. La transition entre des presets d’état en est un exemple.
Contrôle continu
À l’opposé de l’évènement sonore ponctuel, le contrôle continu consiste à entretenir ou à maintenir un
état ou une variation continue d’états sous son contrôle en gardant constamment la main dessus. Le
contrôle continu est un contrôle en temps réel, c’est à dire que le moindre changement d’état produit
des effets perceptibles ou non.
Temporalité des interactions
La temporalité des interactions est la façon dont l’interaction régit les paramètres temporels des objets
avec lesquels on interagit et leurs relations avec le temps du sujet
La question de l’autonomie du dispositif est très importante pour définir ces temporalités. Pour un
dispositif totalement autonome, par exemple une musique enregistrée, l’action de mise en route au
début et d’arrêt à la fin sont les seules actions du sujet ayant un effet en temps réel sur l’objet.
Temps réel, temps joué, temps fixé
L’idée que l’interaction est une action en temps réel est simpliste. En effet, nous interagissons sur les
objets avec des temporalités et des niveaux de précision temporelle variables. Dans une même action,
plusieurs temporalités cohabitent. Par exemple, un coup d’archet commence par un évènement de
début, il est suivi par le contrôle continu d’un ensemble de paramètres coordonnés et se termine par
une résonance non contrôlée de la corde.
Ainsi on peut définir sommairement 3 temporalités de jeu :
Le temps réel : une action à pour effet une réaction dans un temps imperceptible, une série ou un flux
d’actions en temps réel est un contrôle continu.
Compte rendu du projet de recherche ENIGMES
p.69
2006-2007
Le temps joué : une action produit une réaction quasi immédiate, mais dont le retard dépend de
l’action du jeu. Par exemple, une boucle est modifiée en hauteur à chaque nouveau tour en fonction de
la note sélectionnée.
Le temps fixé : une action de mise en route et d’interruption d’un processus prédéterminé
Se placer dans une séquence de temps fixé
Se positionner dans la durée d’un objet temporel (document enregistré par exemple) constitue un geste
lié au temps mais ne prédéfinit pas la temporalité du jeu lui même.
Représentation du temps et de l’espace
Iannis Xenakis dans Musiques Formelles distingue les structures hors-temps de celles en-temps. Il inclut
les objets temporels (les durées) dans la première catégorie33 afin de pouvoir manipuler les mêmes
structures de données musicales et graphiques avec les mêmes méthodes qu’elles soient hors ou en
temps. Une structure dans l’espace (hors temps comme la partition ou une architecture) devient une
structure en temps (une musique) dès lors qu’elle est jouée. Dans la perspective de la partition
navigable, cette double entrée devient un impératif d’usage, le en-temps et le hors-temps cohabitent sur
le même support.
Critères de sélection d’un type d’interaction
Modalité de changement d’état
évènement conditionnel
évènement à condition multiple
reconnaissance de forme à posteriori, en continu…
Mapping des paramètres d’interaction
Mapping direct
action formatée comme la réaction (exemple : appui sur un bouton 0/1 mise en route ou arrêt de la
lecture d’un son. Variation d’un paramètre de contrôle coordonné avec la variation d’un paramètre
sonore continu)
Mapping de 1 vers plusieurs (branches)
un paramètre du contrôleur modifie plusieurs paramètres sonores (exemple : un curseur fait varier à la
foit la hauteur et l’intensité d’un son continu). Dans ce cas, chaque paramètre doit être registré en
fonction du contrôleur unique de façon à obtenir le rendu souhaité.
Mapping de plusieurs vers 1 (racines)
plusieurs contrôleurs vont agir sur un seul paramètre sonore (par exemple le clavier et le ruban de
l’onde Martenot agissent sur la hauteur mais de différentes façon. Dans ce cas, chaque contrôleur à son
registre propre
Activation
La réaction est activée ou non selon : une action, un événement interne, une temps, une valeur, une
valeur dérivée, entre deux limites, si une transition de valeur se produit dans un sens ou selon une
règle particulière… Il est également courant que les conditions de mise en route et d’arrêt d’une action
obligent à gérer des seuils d’activations de certains effets
Registration
Limites en entrée, limites en sortie, fonction de transfert ou courbe de variation entre les deux limites
Quantification
Le paramètre du contrôleur et/ou de l’effet (son) sont quantifiés (sur une grille) selon un pas fixe ou
variable, entre des limites, selon une liste de valeurs cyclées ou non.
Temporisation et dynamique
La plupart des contrôles ont leur temporalité privilégiée. Par exemple, si l’on joue sur la totalité de
l’archet sur la corde du violon, la fréquence du changement de sens de l’archet, n’est jamais supérieure
33
Le temps dans l’Art-Science Xenakien (Anne Sylvie Barthel-Calvet 2000)
Compte rendu du projet de recherche ENIGMES
p.70
2006-2007
à 10 Hz. et l’accélération est limitée par le freinage précédente le changement de direction. le plus
souvent, les outils numériques permettent des vitesse beaucoup plus élevées que celle dont on a
besoin et le lissage est souvent nécessaire. Les paramètres de contrôle changent progressivement, dans
un certain ordre et selon une certaine courbure.
Paramètres liés
Il est rare qu’un seul paramètre soit modifié par une action. La plupart du temps une action provoque
un effet sur un paramètre principal et sur des paramètres liés. Par exemple un frottement produira un
bruit quasi stable dès la mise en route lié à un paramètre sonore de rendu de la vitesse du mouvement.
Mapping conditionnel
La courbe de variation dépend d’un ou plusieurs autres paramètres.
mapping registré
le mapping varie selon le registre du paramètre. Cette registration peut être discrète ou progressive. Par
exemple la mise en route progressive d’un effet lui même mappé en fonction d’un paramètre de vitesse
type embrayage ou le de vitesse.
mapping transmodal
le mapping dépend d’un paramètre externe : la résonance du lieu, l’image…etc.
Métaphore de la chaise et la table
le mapping sert à faire communiquer une chaise avec une table. Les premières questions à se poser
étant pourquoi et comment. Pour quoi faire, quelles causes, quels effets et comment brancher les
premières sur les seconds.
Plan schématique du mapping contrôleur/son
Les paramètres des contrôleurs doivent être mis en forme par rapport à la fonction qu’occupe le
contrôleur et de façon à correspondre.
Il est péférable de se limiter à un système de paramétrage simple. Idéalement, dans un but de simplicité
de programmation, on aimerait tout formater de la même manière (par exemple entre 0. et 1.), mais
dans la réalité, on aura besoin de différents formatages. Voici celui que j’utilise le plus souvent
Les formats les plus courants sont :
Binaire (0 ou 1)
Entier quantifié par exemple pour le midi(0-128)
Continu flottant positif (entre 0.0 et 1.0)
Continu flottant centré (entre –1. et 1.)
Liste de valeurs
Message, vecteurs, matrices, flux…etc
Formatage ou synchronisation des paramètres d’entrée et de sortie
La synchronisation ou l’alignement des paramètres est très important. C’est à ce niveau que tout se
passe. Si ce qui entre dans le synchronisateur ou le mappeur est parfaitement significatif et utilise
pleinement sa plage de valeurs, alors, on aura plus de chance d’obtenir des résultats significatifs. Les
paramètres d’entrée une fois interprétés et formatés, doivent être parfaitement significatifs pour rendre
l’effet souhaité. Par exemple, la vitesse de frottement sera codée entre 0. et 1. on aura des très faibles
vitesses et des très fortes, mais également beaucoup de nuances dans les vitesses moyennes.
Compte rendu du projet de recherche ENIGMES
p.71
2006-2007
VI-Conclusion
Les résultats du projet montrent sans aucun doute l’intérêt du sujet, l’importance de son
développement, mais aussi les difficultés à surmonter pour généraliser ses résultats. En tant que projet
de recherche dans une école supérieure d’art, comme son titre le laisse entendre, ENIGMES est un projet
abouti, qui in fine pose autant de questions qu’il n’en résout.
Résultats positifs
La thématique de la partition navigable est extrêmement riche et offre de nombreux débouchés
artistiques, pose des questions techniques pour la recherche, ouvre à de nouveaux développements
avec des applications possibles pour l’industrie.
Les ouvrages que nous avons réalisés en montrent différentes dimensions et proposent une articulation
entre plusieurs genres de ce domaine.
Les ouvrages les plus aboutis (Piège à Rêve et Les Iles) mèneront nous l’espérerons un chemin
autonome. Les autres projets ( Plumage, Feuillage, seront probablement encore questionnés par
d’autres projets de recherche qui permettront d’en préciser les modalités, les formes et les usages.
Aspects à développer
Les modalités de navigation 2D en cherchant à spécifier des conventions à l’usage.
Le repérage dans la représentation 3D
Le repérage dans des formes en mouvement
La partition évolutive et animée
Enrichir les modalités graphiques de navigation
Un modèle possible de projet de recherche à l’ENSCI
L’enseignant (responsable) prédéfinit le contenu et la forme et encadre le
projet dans son ensemble.
Des étudiants (pilotes) en fin d’étude ou post-diplôme définissent un
projet en amont et conduisent une équipe de recherche.
Un ensemble de documents sont attendus de la part du pilote : définition,
cahier des charges, démos, maquettes, performances…, compte rendu ou
publication. Chacun de ces documents obéis à un format défini par le
responsable en fonction des projets.
Limites du modèle
Le modèle est bon, mais il est actuellement très difficile de valider les différentes étapes de travail. La
première raison est que les étudiants en Design n’ont pas la formation nécessaire ni l’encadrement de
suivi pour cela. Il faudrait qu’une équipe pédagogique différente de l’enseignant chercheur responsable
valide ces étapes et que les élèves soient préalablement formés sur les tenants et las aboutissants de
ces étapes comme sur les méthodes. D’autre part, cela requiert un travail plus important que les projets
auxquels ils sont habitués. Une durée d’une année voire deux est souvent nécessaire et la demande de
document peut apparaître comme une surcharge au projet déjà lourd en soi. Néanmoins, nous pensons
que ce travail documentaire est essentiel au même titre que les réalisations concrètes et que la qualité
de l’un comme l’autre sont attendus.
VII-Annexes
1.Images du projet
Compte rendu du projet de recherche ENIGMES
p.74
2006-2007
Compte rendu du projet de recherche ENIGMES
p.75
2006-2007
Compte rendu du projet de recherche ENIGMES
p.76
2006-2007
2.Textes et images des étudiants rédigés et réalisées au cours du projet
Zeev Zohar : définitions du fonctionnement du système statistique de Feuillage
We use buttons characteristics as a language. each characteristic stands for a piece of information
shape - family of sound
texture - the privet sound in the family
location - time
animation - 'event'
size - standing for a cretin parameter and the 'magnetic' rout
color - standing for a different parameter
We look at the table as a method of working . which in this case we are applying on Eric's piece.
we break the piece to separated forms (shape and texture), in a play mode. Put these forms on a time
line responding the piece.
Give 'behavior' to each forms
Adding new forms\sounds to the original piece. Giving more choices. Placing all forms
Adding 'events' and 'nested events' (animation)
Programming parameters which will be saved in playing. (in this case, counting which button was hit
and which rout was chosen)
Releasing the piece
Now each player can decide his starting point (this also we can save) based on two parameters from a
list
Must/least popular buttons
Must/least popular rout (this changes on advancing in the piece from button to button )
Original
last rout
Composed routs . (last step in the table )
This to can be an evolution programs by it self. If you decide of a certain amount of routs being
displayed (or not) by their popularity.
The player chooses one parameter to be influenced by and one to visualize.
that way he can cross any two kind of information, and play through it . examining, experiencing and
being a part of the experiment .
giving a new damnation to the piece we hear as well as a new way of playing it .
What we want from the programmer
To create a button with 'behaviors'
Behavior
sound
Hitting the form
Orginal
Left/right side
Left/right balance
Animation
On the coroner
Speed
Compte rendu du projet de recherche ENIGMES
p.77
2006-2007
To make a list of these buttons… the animation will be as long as the sound.
Name
Shape
Texture
Sound
a
b
c
d
e
….
Program the ability to save information on each button
how many times it have been hit
an original number (maybe more then one , by names )
a list of connection between any two buttons
a
a
b
c
d
e
3
0
1
2
5
3
4
8
4
b
2
c
5
4
d
0
2
2
e
1
0
2
6
4
the scene - a long time line on which I can put all buttons . when playing the buttons will advance with
the speed of the joystick.
c
g
a
i
d
v
h
m
n
e
b
f
j
l
p
o
k
q
t
s
r
u
This time line divides the buttons to gropes (or you can manually choose)
[a b c] , [v d e f] , [g h I k j ] …
In each grope one button is a ' magnet ' until one button of the grope been hit and the ' magnet' pass
to the chosen one in the next grope
c
g
a
d
v
b
h
i
m
n
e
f
j
Compte rendu du projet de recherche ENIGMES
k
l
o
p
q
r
p.78
t
s
u
2006-2007
From a the list of parameters we can choose a parameter to define size and one to define color.
In each grope the biggest and the smallest gets a constant figure of size/color
The rest are in the adjusted proportion
The biggest in the size parameter gets the value 'magnet'
I see 5 meager topics\stages in the programming
Creating the form-sound objects
create a single object with all behaviors, sound effects and animation. A skeleton in which we could
put any form texture and sound. The behaviors stays the same, the animation should last as long as the
sound.
Object a.
Behavior
Hitting
object
Sound
manipulation
Animation
Hitting from
the left/right
side
Speed
(hitting hard)
Hitting on
the coroner
…..
Original
Left/right
balance
Volume
Base
….
Pulse
'Wormer'
color in the
side
Size of pulse
Speed of the
pulse
….
Name
the
Shape
Texture
Sound
----------------------------
a
----------------------------------------------b
--c
------------------------------------d
-----------e
….
--------------------
Scene and navigation
Arranging objects in the scene
How will we navigate
What 'hitting' stands for
Movement
for example I took a simple time-line on which I can put all buttons . when playing the buttons will
Compte rendu du projet de recherche ENIGMES
p.79
2006-2007
advance with the speed of the joystick.
This time line divides the buttons to gropes (or you can manually choose).
In each grope one button is a 'magnet'.
when an object from one grope is been hit the next grope 'magnet' is activated.
[a b c] , [v d e f] , [g h i k j ] , [n m l o p] , [r q s t u]…
c
g
a
d
v
h
i
m
n
e
b
f
j
l
o
p
k
q
r
t
s
u
The ability to save information
we should be able to save information from users over the web
original : the original values
compose : save the last rout under a name
history : the last 7 routs
relation and popularity
which mode was chosen
a
a
b
c
d
e
Sum
Original
Compose1
Compose2
History1
History2
3
0
1
2
6
4
3
4
5
4
5
3
4
14
2
5
1
13
11
8
4
17
3
1
4
16
12
6
9
1
2
2
8
8
6
2
4
2
7
6
b
2
c
1
4
d
0
2
1
e
1
0
2
3
Visualize the chosen parameters
From a list of parameters we can choose a parameter to define size and another to define color.
Compte rendu du projet de recherche ENIGMES
p.80
2006-2007
In each grope the biggest and the smallest gets a constant figure of size/color
The rest are in the adjusted proportion
The biggest in the size parameter gets the value 'magnet'
Relation between objects
- in our case nested events. Visualize, program and animation.
We use buttons characteristics as a language. each characteristic stands for a piece of information
shape - family of sound
texture - the privet sound in the family
location - time
animation - 'event'
size - standing for a cretin parameter and the 'magnetic' rout
color - standing for a different parameter
The player chooses one parameter to be influenced by and one to visualize.
that way he can cross any two kind of information, and play through it . examining, experiencing and
being a part of the experiment .
giving a new damnation to the piece we hear as well as a new way of playing it .
Compte rendu du projet de recherche ENIGMES
p.81
2006-2007
Catalina Quijano : prédéfinition graphique Feuillage
Compte rendu du projet de recherche ENIGMES
p.82
2006-2007
Compte rendu du projet de recherche ENIGMES
p.83
2006-2007
Compte rendu du projet de recherche ENIGMES
p.84
2006-2007
Compte rendu du projet de recherche ENIGMES
p.85
2006-2007
4.Qu’est-ce qu’un instrument ?
La muse en circuit – INA-GRM
Informatique musicale : geste et pédagogie
Journée d’étude, 14 juin 2003
organisation : David Jisse et Anne Veitl
Notes assemblées par Jean-Philippe Lambert et Roland Cahen – Ircam
16 juin 2003
Qu’est-ce qu’un instrument ? (plus particulièrement un instrument électronique)
S.Delaubier : un instrument est un espace fini interactif. Un dispositif d’une autonomie réduite afin de
se prêter au jeu. C’est également une extension de la pensée, lié à un sentiment de puissance. La loi du
moindre effort, c’est-à-dire l’économie du geste, joue un rôle important dans l’évolution des
instruments.
R.Cahen. Faut-il qu’un dispositif ait une réaction à court terme pour qu’on puisse l’appeler un
instrument ?
C.Cadoz La boucle de retour entre le geste et le son doit être dans la constante de temps physiologique
de l’interprète pour que celui-ci puisse en percevoir les éléments et s’exprimer dans le jeu. L’instrument
est alors un prolongement corporel (un organe, au sens donné par Bernard Stiegler).
R.Cahen Il existe des gestes musicaux non instrumentaux (ex. chef d’orchestre, montage…), des gestes
sonores à la fois musicaux et non musicaux selon l’usage qu’on fait d’un objet ou d’un dispositif (ex. un
objet à la fois utilitaire et musical).
Compte rendu du projet de recherche ENIGMES
p.86
2006-2007
Quel entretien et quelle autonomie lui donner ?
R.Cochini Je suis près à étendre la notion d’instrument aux dispositifs permettant de déclencher des
événements sonore ayant une certaine autonomie.
R.Cahen Il est possible de définir un bon instrument selon le flux d’énergie qu’il permet de manipuler ?
S. Delaubier Un bon instrument propose :
– un bon rendement
– une gestion souple de l’énergie
? L’ordinateur remplit deux rôles de représentations de mécanismes :
– mental du musicien
– monde réel
A. Veitl : Un instrument, par exemple par le choix des représentations adoptées, se définit par :
– sa préregistration
– sa préparation pour un but
Citation ajoutée : (Marc Battier : De la phonographie à la lutherie numérique. L’épihanie du son
artificiel)
La qualité, ici, se comprend comme la catégorie de ce qui rend possible l’expression d’une intention.
Sur un instrument de musique conventionnel, elle se réfère autant à l’excellence du timbre qu’à la
ductilité offerte aux modes de jeu de l’instrumentiste. En d’autres termes, elle est elle-même composite
et assemble deux propriétés indépendantes, que l’on désignera comme matière et degrés de liberté. La
matière est le résultat de l’excitation du corps sonore. Elle est le son. Les degrés de liberté sont le
moyen par lequel l’instrumentiste façonne la matière. Avec l’ordinateur et la synthèse numérique du
signal, la question des degrés de liberté de l’instrument virtuel est autrement plus complexe. Tout
d’abord, la lutherie numérique peut être définie comme une combinaison hautement instable de trois
notions : l’instrument au sens de corps sonore, la machine, comme moyen de calcul et d’opération
programmée, et la représentation qui permet aux deux premières catégories d’interagir et au musicien
de spécifier ou de modifier les données circulant dans la lutherie.
R.Cahen
Un geste sonore est non musical si il n’a pas comme finalité principale de jouer de la musique
- par exemple d’écouter, réentendre un son pour vérifier qu’il soit lié à une action
de signaler par le son
de produire par une action un son accidentel
une geste nerveux marquant une impatience…
Un geste musical n’est pas instrumental si-il ne contrôle pas un instrument.
Par exemple un chef d’orchestre a un geste musical mais non instrumental
Si-il intervient sur le temps, vitesse et sens de déroulement, placement d’élément préétabli.
Autres idées associées à l’idée d’instrument :
Un instrument existe de par son répertoire. Même un nouvel instrument s’inscrit dans un genre musical
et à plus ou moins de chance de succès selon son répertoire possible et potentiel.
Un instrument comporte un ou plusieurs modes de jeux, c’est à dire un ensemble de gestes produisant
divers effets musicaux. Certains instruments ont très peu de modes de jeux et de possibilités sonores,
Compte rendu du projet de recherche ENIGMES
p.87
2006-2007
ils sont le plus souvent utilisées pour des fonctions orchestrales précises ( Cuica, triangle…). D’autres
ont de nombreux modes de jeux et de nombreuses possibilités mais sont peu utilisés car leur mise en
œuvre est trop lourde ou leur manque de souplesse en situations de jeu en font des instruments
finalement pauvres. C’est le cas de la plupart des dispositifs électroacoustiques, synthétiseurs et autres.
Bien entendu n’importe quel instrument bien travaillé peut donner d’excellents résultats, mais dans tous
les cas, ce travail demande un investissement considérable. C’est la raison pour laquelle très peu de
musiciens s’engagent sérieusement dans l’apprentissage d’instruments expérimentaux et préfèrent
encore des « truc qui marchent » à des fabuleuses promesses de résultats, à moins qu’ils n’en soient
eux-mêmes les concepteurs.
Pierre Schaeffer (Traité des Objets Musicaux p 47-48)
Compte rendu du projet de recherche ENIGMES
p.88
2006-2007
Pierre Schaeffer (Traité des Objets Musicaux p 51)
5. Cahier des charges du développement de Plumage
Yoan Ollivier, Svetlana Bogomolova, Benjamin Wulf
Christian Jacquemin, Diemo Schwarz, Roland Cahen
11 Décembre 2006
Construction d’un démonstrateur pour la métaphore « plumage »
Cahier des charges de développement 3D temps réel dans le logiciel Virchor (Virtual Choreographer) et
dans Max/MSP/ftm le patch CatArt
A. analyse de l'existant
1. Résumé et analyse des précédentes expérimentations:
a. objectifs
Comment naviguer dans une partition sonore 3D ?
Les ouvrages ont été développés sur la base sonore de la synthèse concaténative (Diemo Schwarz Ircam) et d’un dispositif de représentation et de navigation visuelle 3d temps réel dans Virchor (Christian
Jacquemin – LIMSI)
b. maquettes de principes
En Septembre nous avons réalisé des maquettes de principe en vidéo montrant les modalités de
navigation et les liens entre les sons (grains) et la représentation 3D.
c. premier système interactif
Puis un premier test de liaison effective entre les deux modules (CatART et VirChor) a fonctionné en
Novembre.
Il s’agit maintenant de définir plus précisément les développements les plus importants à réaliser
courant Janvier pour obtenir un démonstrateur navigable fonctionnel. Le but de ce démonstrateur est
surtout 'd’expériencer’ directement le comportement et la navigation en 3D dans les sons. La part
conception design, contenu, et expression étant au centre de cette expérience.
Compte rendu du projet de recherche ENIGMES
p.89
2006-2007
d. Limites de l’existant :
- le déplacement du curseur sur une courbe aléatoire rend difficile la compréhension de ce qui se passe.
- Il est difficile de relier les sons entendus aux objets rencontrés
- la distinction entre le rôle d'auditeur, de musicien et de compositeur n'est pas forcément nécessaire.
Cela implique de définir de nouveaux comportements des objets et des modes de navigation (du sujet).
- pour l ‘expérimentation il serait essentiel de faciliter l’accès à un ensemble de paramètres définis et de
possibilités de variations ci dessous, sans devoir modifier la structure du programme. Il sera possible
alors de voir et d’entendre immédiatement les résultat.
2. conclusion sur les modification à apporter au projets "plumage"
a. Taille des boîtes
- jouer toutes les boîtes que la tête de lecture traverse
-Il faut pouvoir modifier facilement la taille des boîtes (c’est déjà en partie le cas)
b. La polyphonie
-jouer plusieurs plumes simultanément , les plus proches de la tête de lecture ( cela pose la question de
la distance "critique")
-jouer avec plusieurs tête de lectures au même temps (voir développement plus bas)
c. Spatialisation : ajout de la distance, si possible de la direction
La donnée de la distance d’une plume par rapport au point d’écoute permettra de spatialiser le son des
plumes. Par exemple nous suggérons que lorsque un trigger est dans plusieurs boites (son ON), la
distance avec le point d’écoute donne le volume de la plume. La direction ou la position relative au
point d’écoute donne, elle les paramètres de spatialisation. Il est important de pouvoir situer ce point
d’écoute, par exemple soit sur la caméra (point de vue) soit sur la tète de lecture soit ailleurs dans
l’espace.
d. Trajectoires de la tète de lecture
- des courbes prédéfinies
- des courbes modulables
- des courbes liées à la position des plumes, qui changerait à la manipulation spatiale des plumes.
e. L'automatisation des triggers
- des triggers multiples (qui forment "une tête" de lecture)
- des triggers aux mouvements cycliques
B. Nouveaux Cahiers des charges
Deux hypothèses d'interactions et de lectures
Au regard des remarques précédentes, deux hypothèses de développements sont envisageables.
Elles représentent chacune la suite du projet en poursuivant certaines remarques de ces remarques, mais
intègrent la même volonté d'augmenter l'interaction dans PLUMAGE.
La première "mouvements cycliques" pose l'utilisateur en compositeur / auditeur. Celui-ci construit un
système sonore en organisant dans l'espace des mouvements cycliques de triggers la construction
spatiale de ce système organise une "composition sonore" spécifique.
La deuxième "Manipulation de l'espace sur la trame temporelle" joue sur une plus grande maniabilité de
l'organisation des plumes, mettant en avant les effets musicaux produit par la navigation d'une caméra
subjective qui suit le dérouler temporel original du morceau.
Elles semblent toutes les deux proposer des usages intéressant de cataRT et de VirChor, nous manquons
juste de compétence d'évaluation quand à la faisabilité de l'une et de l'autre.
Remarque sur l'écoute des sons:
Ces deux hypothèses s'intéressent aussi à la question de l'écoute de sons dans un univers virtuel en
trois dimensions, et le développement de cette partie nous semble primordiale par rapport à l'objectif
initial : comment naviguer dans une partition navigable en 3D ?
Compte rendu du projet de recherche ENIGMES
p.90
2006-2007
Nous faisons donc systématiquement la distinction entre le point de vue, le point d'écoute, et l'origine
du son dans le reste du document, en spécifiant pour chaque exemple leur position.
point d'écoute:
point de vue:
origine du son:
Référence de la position des oreilles de l’auditeur
Référence de la position des yeux de l’auditeur (caméra)
Origine causale, l'action qui déclenche le son et sa position (le trigger)
Remarque sur les définitions:
nous utilisons plusieurs termes spécifiques en voici les définitions pour plus de clarté.
les lecteurs :
tête de lecture:
objet parcourant l’espace 3D composé d'un ou plusieurs triggers.
Métaphore d’un atome (atome lui-même)
trigger:
élément déclencheur de sons composant la tête de lecture.
Métaphore d’un atome (électrons). Il peut y en avoir un ou plusieurs dans une tête de lecture
(jusqu’à 3 pour le moment)
les sources sonores :
plume:
objet graphique représentant le grain de son situé dans l'espace
au centre de la boîte (représenté par un point dans CatART), qui joue lorsqu'il est stimulé
par une tête de lecture
boite:
zone parallélépipédique entourant la plume et définissant la limite de
déclenchement du son.
les mouvements :
Orbite :
mouvement cyclique des triggers dans la tête de lecture
portée ou trajectoire : une courbe visible dans l'espace, qui définit la trajectoires d'une tête de
lecture (ces termes sont synonymes pour le moment)
Modificateur:
élément, qui influence la forme d'un ou plusieurs tracés : attirance ou
répulsion
Possibilité 1.
mouvements cycliques.
0. les structures de portées spatiales.
L'idée de "mouvements cycliques" est de mettre a disposition de l'utilisateur un statut simultané de
compositeur et d'auditeur.
Dans cette optique la manipulation du son s'opère grâce à la manipulation de petits systèmes de lecture
répétitifs placé dans l'espace des plumes.
L'utilisateur vient intervenir sur les paramètres et les positions de ces systèmes cycliques. pour faire
varier et ajuster la lecture des plumes dans l'espace.
1. trajectoires ou portées :
une courbe visible dans l'espace, modifiable , qui définit le parcours d'une tête de lecture
- construction de courbes à partir d'éléments types
Il serai plus aisé d'avoir, si c'est possible, une interface visuelle qui représente les différents éléments
que l'on peut poser sur la scène.
Par exemple, on "drag and drop" les éléments depuis une bibliothèques pour les disposer dans
l'espace.
De même il serai plus logique d'accéder plus simplement aux paramètres de chaque objet, par exemple
on entre dans les paramètres de chaque éléments en double-cliquant sur son centre.
Nous identifions deux trajectoires intéressantes parce que très simple :
1. l'ellipse 3D
La construction et la manipulation des cercles doit s'effectuer en fonction des paramètres suivants en
viendra le faire évoluer à l'aveugler et cliquant et glissant sur les éléments:
Compte rendu du projet de recherche ENIGMES
p.91
2006-2007
• le centre de l'orbite (définit en x, y, z )
• le rayon du cercle (limité à une valeur particulière)
• le rayon elliptique (limité à la même valeur particulière)
• l'inclinaison du cercle (définit par un vecteur en x,y,z avec le centre du trigger que l'on manipule
comme référence)
• la vitesse de déplacement de lecture sur l'axe de la trajectoire.
2. le vecteur
• le vecteur correspond en fin de compte à un cercle dont le diamètre elliptique serai quasi-nul, il suffit
donc de le considérer avec les même paramètres que le cercle.
2. triggers et orbites
a. différents types de comportements sur une portée navigable
Sur chaque trajectoire, évolue une tête de lectures (atomes) autours duquel s'organise des triggers
(électrons).
Un triggers peut décrire un mouvement, le tracé de celui-ci est appelé orbite. Ces orbites permettent de
donner des variations "rythmiques", "harmoniques" et aléatoires au sein de la portée.
La tête de lecture joue un rôle sémantique visuel, mais ne présente pas de possibilité interactive dans la
manipulations du son.
Lorsque les triggers croisent une plume, ils déclenchent le son mappé sur celle-ci.
L'utilisateur peut modifié les propriétés de chaque tête de lecture, en venant manipuler et paramètrer les
triggers.
b. multiplicité des triggers
sur une même tête de lecture ( atome ), on peut placer plusieurs triggers (électron).
• 1 à 3 triggers par portée comportementales
• positionnement en x, y, z en prenant le trigger d'origine comme origine de coordonnées.
• distance maximale de position pour les trigger (sphère qui limite la répartition au-delà)
c. cinétique des triggers
Chaque trigger a sa propre orbite. Ce qui a pour fonction de donner séquencer le jeu musical à une
échelle temporelle relativement courte ( de l'ordre de la seconde), donnant ainsi une variation du motif
sonore.
1 ellipse 3D
• le centre de l'orbite est la position originelle au repos du trigger (définit en x, y, z avec comme origine
le centre de la tête de lecture)
• le rayon du cercle (limité à une valeur particulière)
• le rayon elliptique (limité à la même valeur particulière)
• l'inclinaison du cercle (définit par un vecteur en x,y,z avec le centre du trigger que l'on manipule
comme référence)
• la vitesse de déplacement de lecture sur l'axe de la trajectoire.
2. le vecteur
• le vecteur correspond en fin de compte à un cercle dont le diamètre elliptique serai quasi-nul, il suffit
donc de le considérer avec les même paramètres que le cercle.
d. combinaisons des comportements de triggers
Les orbites sont combinables et on peut avoir sur une seule trajectoire plusieurs triggers avec des
déplacements indépendants les un des autres.
3. les points d'écoute.
a. paramètres liés au niveau sonore
Les points d'écoute représentent une lieu dans l'espace du plumage ou les sont sont perceptibles. Ils
s'apparentent à des microphones dans le cas présent.
Les triggers sont les Origines Sonore. Les plumes sont comparables à des cloches que les triggers
viennent faire résonner lorsqu'ils rentre en contact.
Compte rendu du projet de recherche ENIGMES
p.92
2006-2007
chaque point d'écoute possède une zone d'audition dans la laquelle peut être écouté les origines du
son. certains paramètres viennent modifié cette écoute :
• la distance : le niveau sonore de chaque plume est définit par la distance à laquelle se trouve
les triggers du micro. Plus le trigger qui croise une plume est près plus le son est fort.
• la vitesse : le volume du son est proportionnel à la vitesse à laquelle le trigger rencontre la
plume. Plus la vitesse du trigger est rapide plus le son est fort.
b. position des points d'écoute.
L'utilisateur vient définir où se situe le ou les points d'écoute dans l'espace.
Ces points correspondent à l'intensité nominale du son.
• Ils peuvent être fixes dans l'espace dans ce cas l'utilisateur positionne le point d'écoute soit
numériquement en donnant ses coordonnées (en x, y, z), soit si possible manuellement en le saisissant
avec la souris et en le déplaçant dans l'espace.
• Ils peuvent être mobile en positionnant ceux-ci sur une tête de lecture. dans ce cas on est dans
une situation d'écoute directe, la distance avec les triggers est négligeable.
Il faudra leur trouver une représentation graphique puisqu'ils entreront dans le champs visuel.
4. modificateurs
Les modificateurs sont des modulations qui viennent agir directement sur les paramètres de toutes les
portées de l'espace. Ils permettent de mettre l'attention auditive du jeu sur ces zones particulières de
l'espace. ils ont également pour fonction de faire varier le déroulement musical et d'introduire des
dérives dans les cycles établis.
Ces comportements nous semble intéressants, mais on peut envisager les développer dans un deuxième
temps, car ils peuvent complexifier la compréhension du système.
1. zones attractives
cet élément vient faire infléchir la courbe des trajectoires à sa portée.
Il les attire vers lui. Son efficacité est proportionnelle à la distance entre la courbe et le centre de
l'élément.
2. zones répulsives
cet élément vient faire infléchir la courbe des trajectoires à sa portée.
il les repousse de lui. Son efficacité est proportionnelle à la distance entre la courbe et le centre de
l'élément.
3. zones de ralentissement
Cet élément vient modifier la vitesse de la tête de lecture à sa portée.
Il accélère la vitesse de la tête de lecture.
Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément.
4. zones d'accélération
Cet élément vient modifier la vitesse de la tête de lecture à sa portée.
Il accélère la vitesse de la tête de lecture.
Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément.
protocole de communication
• virchor/max (v -> m)
• max/virchor (m -> v)
les cameras:
/camera 1 : camera utilisateur
/camera 2 : camera azimuthale
/camera 3, 4 et 5 : camera tête de lecture 1, 2 et 3
Les micros :
Compte rendu du projet de recherche ENIGMES
p.93
2006-2007
/micro 1, 2, 3 : micor placés sur les têtes de lectures.
/micro 4, 5, 6 : micros fixes (x, y, z)
/micro 7 : micro caméra
messages:
v -> m : (30 sources)
/micro n° id distance azimuth elevation
m -> v : ( 7 micros )
/micro_onoff : n° 1/0
/micro_pos (pour les micors 3 4 et 5): n° x y z yo spin roll
les têtes :
m -> v :
/visible_tete n° 1/0
/tete n° x y z a b yo spin roll
/tete_pos n° va (vitesse angulaire (-360. , +360.)
v -> m :
/tete_id n° x y z (envoie la position de la tête quand sélectionnée par la souris)
les triggers : (position canonique, perpendiculaire à la trajectoire de l'ellipse)
m -> v :
/visible_trigger n° 1/0
/trigger n°(tête) n°(trigger) a yo spin
/trigger_pos n°(tête) n°(trigger) va
la visibilité des éléments :
/visible_trigger n°
Possibilité 2.
Manipulation de l'espace sur la trame temporelle.
a. description
Cette deuxième piste utilise la répartition temporelle des plumes dans le morceau d'origine comme
structure de la trajectoire de lecture.
Il n'y a qu'une seule tête de lecture, et un seul trigger. Celle-ci parcourt la trajectoire en reconstituant
éléments par éléments le morceau, en commençant par le premier puis le deuxième, etc. jusqu'au
dernier élément, puis il reprend au début.
Si l'utilisateur vient changer la répartition spatiale des plumes en modifiant le choix des descripteurs
dans CataRT, la courbe se modifie mais la tête de lecture continue à jouer suivant l'ordre temporel du
morceau d'origine sans se préoccuper de la réorganisation qui s'est opéré. La courbe est "magnétisée"
sur les plumes.
Lors d'un changement d'organisation des descripteurs de cataRT, le déplacement ne doit pas s'arrêter,
La courbe est "magnétisée" sur les plumes et on doit voir les plumes se déplacer progressivement de
leur position d'origine jusqu'à leur nouvelle position.
b. lecture du son
Le point d'écoute est lié au point de vue. Le point vue est la vue de la caméra, le point d'écoute est le
trigger (visible ou non) qui se trouve devant la caméra sur la trajectoire.
La vue représente un parcours où on découvre les sons, c'est donc la distance qui prévaut dans ce cas.
les sons qui s'approchent sont donc lu avec un volume sonore qui augmente progressivement.
c. manipulation
Dans ce cas la les éléments suivants doivent apparaître sur l'interface.
1. les paramètres de la courbe.
• la vitesse de défilement
• le sens de lecture (début à la fin ou l'inverse)
• le niveau de lissage de la trajectoire (segment très rigide à des courbe très lisse)
Compte rendu du projet de recherche ENIGMES
p.94
2006-2007
2. les paramètres de répartition de l'espace
• une possibilité de changer en temps réel la taille des boites autours des plumes
(En fonction de la taille des boites, un ou plusieurs sons proches de la courbe seront
joués afin de créer des variantes ou des distorsions.)
• une visualisation des paramètres qui organise la répartition des plumes dans
l'espace.
• l'adjonction d'un algorithme de lissage de la courbe pour créer des variantes
Compte rendu du projet de recherche ENIGMES
p.95
2006-2007
6. Publications
Article des JIM 07 résumé complet du projet, de son contexte et de ses développements
ENIGMES : LA PARTITION NAVIGABLE
Un projet de recherche collaboratif et interdisciplinaire en école supérieure d’art
Roland Cahen
ENSCI
roland.cahen@wanadoo.fr
www.ensci.com
http://projetenigmes.free.fr
RÉSUMÉ
Le projet ENIGMES34 (Expérimentation de Nouvelles
Interfaces Gestuelles pour la Musique et le Son)
développé à l’ENSCI (Ecole Nationale Supérieure de
Création Industrielle) en 2006-2007 est un projet de
recherche et d’expérimentation pédagogique interdisciplinaire associant des étudiants, des enseignants,
des chercheurs et des artistes. Le thème en est la
partition navigable (ou partition instrument) soit une
approche interdisciplinaire de la composition et du
jeu musical électroacoustique tirant parti des
possibilités offertes par les outils numériques. La
recherche musicale porte sur des problématiques
d’usage dans un cadre pédagogique. Quatre
métaphores d’usage ont été définies et développées :
deux concernant les interfaces gestuelles, et deux les
modalités de navigation sonore en 2D et 3D (Chap.
3). Un outil logiciel que nous détaillerons a été
développé pour ce projet : ENIGMES-Lib. Ce projet
s‘inscrit dans le contexte pédagogique du
développement de la recherche dans les écoles d’art
(Chap. 5). Nous avons ajouté cette dernière partie
portant sur des questions sociopolitiques car la forme
et le contenu de cette recherche nous paraissent
indissociablement dépendants de son contexte
d’existence.
Mots clés
: musique, navigation sonore, interaction,
jeu musical, design, interface, conception, usage,
graphisme, notation, audionumérique, multimodalité,
parcours sonore, métaphore d’interaction, repérage,
détection, générateur sonore, musique
électroacoustique, écoles d’art, recherche, art
appliqué.
partitions navigables
Le concept de partition navigable ou partitioninstrument s’inscrit dans la perspective de celui de
« navigation sonore » : c’est-à-dire un parcours dans
34
ENIGMES est un projet de recherche
interdisciplinaire en collaboration avec d’autres
écoles (ENSAD, ENST, ENM Pantin, Université
Paris XI) des chercheurs de l’Ircam et du LIMSI et
des artistes. Le projet est financé par l’ENSCI, la
DAP et a obtenu la Bourse Pierre Schaeffer de la
SCAM en 2006.
un espace sonorisé générant une composition
sonore en fonction des actions de l’utilisateur sur les
objets (sonores) qui composent l’espace.
Traditionnellement, la partition est indépendante de
l’instrument, pour des raisons pratiques évidentes
qui permettent entre autres choses une
indépendance des fonctions de lecture/écriture et de
jeu. Mais cette indépendance est aussi historique car
le support papier de l’écriture et de la lecture peut
difficilement fusionner avec l’instrument classique.
Cette fusion amène également des effets négatifs :
- répertoire réduit à un seul morceau dans le cas
d’instruments construits pour une seule musique.
- expression instrumentale contrainte; dans le cas
d’une conduite fidèle à la partition.
Toutefois ces limites pourraient être dépassées,
d’une part par la transformation de l’instrument au
cours du morceau et d’autre part en développant les
éléments d’un Solfège Graphique de Navigation
Sonore, c’est-à-dire des règles graphiques et des
modalités d’interaction types pour la navigation
sonore. Ce néo-solfège ne pourrait probablement pas
être aussi générique que le solfège traditionnel, il ne
pourrait s’envisager que sous une forme dépendant
des modalités d’interactions et des situations
d’usage, voire des œuvres, comme c’est souvent le
cas en musique instrumentale contemporaine.
Cette transformabilité de l’instrument est facilitée par
les dispositifs numériques. Avec ces outils, la
possibilité de modifier facilement l’interface visuelle
et possiblement les modalités d’interactions,
permettent d’envisager de nouvelles distributions
des fonctions entre la notation et la production
sonore. On peut alors réaliser des formes de
partitions qui soient également des instruments,
autrement dit des notations actives dans lesquelles
les mécanismes instrumentaux et la notation peuvent
être coordonnés, animés, orientés en fonction de
l’œuvre, de l’usage…etc.
La question posée aux étudiants était d’imaginer de
tels dispositifs et de concevoir puis développer des
métaphores d’usage35.
35
Les 4 ouvrages développées au cours du
projet se sont donc appuyés sur des
Assez vite, le terme de partition navigable, dont le
principal avantage est qu’il suggère une certaine
sophistication eu égard à la très riche histoire de la
notation musicale, nous est apparu trop fortement
rattaché à la tradition, engendrant des confusions.
Lors des présentations, les questions du public
musicien revenaient souvent à la question de savoir
si ce que l’on proposait était « mieux ou moins bien
qu’une partition musicale classique »…renvoyant la
problématique de la partition navigable à celle des
« nouvelles écritures musicales », une question
somme toute hors sujet. Nous avons donc cherché à
prendre de la distance avec ce concept et n’avons
pas encore trouvé celui qui conviendrait le mieux :
Notation musicale active, Topophonies, Lignes
sonores, parcours, tracés…
navigable, du point de vue de l’interprète.
EVOLUTION DES CONTEXTES D’EXISTENCE DU JEU
MUSICAL ET DU JEU MUSICIEN
Les contextes d’existence du jeu musical évoluent et
se diversifient avec le développement des usages
numériques. La musique accompagnant un jeu,
l’interprétation collaborative via l’Internet, le remix,
le karaoké sont quelques-unes de ces formes
émergeantes, mais l’avenir nous en réserve très
probablement d’autres [11]. La forme musicale et les
modalités de mise en œuvre de la musique sont
fortement attachées aux situations d’usage du jeu
musical et du jeu musicien. Nous entendons ici jeu
musical comme toute forme de jeu produisant de la
musique et jeu musicien comme l’expression
musicale travaillée dans une perspective centrée sur
le résultat musical.
D’un autre coté, le public des artistes visuels a
tendance à confondre la démarche de la partition
navigable avec celle des partitions graphiques. Certes
le graphisme joue un rôle important de repérage et
de mise en forme visuelle, mais la question de
l’esthétique de la notation est ici accessoire. La
visualisation joue un rôle avant tout fonctionnel. Elle
apporte au joueur un repérage spatial/temporel et une
restitution visuelle dynamique de l’interaction ellemême. L’esthétique visuelle intervient en fin de
chaîne, au niveau des représentations données à voir
au joueur et au public lors de la performance. La
question de la relation son/image ou son/geste, prise
telle quelle est également une question théorique
trop générale. Pour donner du sens à cette relation, il
est nécessaire de la confronter au contexte d’usage et
traiter chaque situation au cas par cas. Dès que nous
envisageons les cas spécifiques, les termes son,
image et gestes ne désignent plus que des notions
très sommaires, inopérantes pour spécifier leurs
relations.
le spectacle du concert numérique
Le concert électroacoustique ou acousmatique et par
extension celui des musiques électronumériques
posent encore aujourd’hui la question de l’absence
de visuel. Dans le spectacle du concert instrumental,
le spectateur regarde l’interprète et l’instrument, les
gestes et les expressions du musicien, le vécu,
l’effort, l’émotion…, mais le plus souvent, on voit
mal l’action instrumentale. Cette imprécision joue
probablement un rôle pour l’écoute. Dans le concert
électroacoustique, l’expression et les gestes du
musicien sont réduits à une gestique sans lien
apparent avec la dynamique du contenu sonore. La
relation de cause à effet échappe alors au
spectateur. Le fait de voir le musicien agir avec un
geste coordonné à la musique, apparaît comme un
fondement important de la relation causale qui
donne sa légitimité à l’interprète. Présenter une
construction visuelle liée au geste du musicien, peut
permettre de dépasser la mécanique peu significative
de l’instrument et voir émerger une mise en
représentation, un spectacle de la relation entre
l’action du musicien et l’effet sonore produit.
Qu’en est-il de la présentation de la partition comme
visuel ? On a peu d’expérience d’utilisation de la
partition comme visuel du concert, encore moins
d’un suivi interactif de cette partition. C’est dans
cette direction que nous travaillons.
Le statut de l’interprète/joueur
Le statut de l’interprète ou du joueur dépend de
l’usage de la musique. Deux situations sont
principalement concernées :
La situation de concert (cf.§2.1),
dans laquelle l’interprète connaît bien la
partition et maîtrise bien l’instrument. Son
interprétation consiste à faire au cours de la
performance des choix de chemins, de mise
en forme et d’expression.
L’interactivité publique 36: Un
parcours de découverte intuitif et/ou guidé,
Figure 1. Comparaison entre le fonctionnement de la lecture
musicale traditionnelle à l’instrument et de la partition
36
« Pour ce qui concerne des oeuvres dont
l’expérience du public s’inscrit dans le temps de
l’interaction, la notion de partition, perd la
linéarité et sa directionnalité traditionnelle, liée
métaphores comme cela se pratique souvent
dans le design d’où leurs titres poétiques (“les
îles”, “plumages”, “feuillage”, “piège à rêve”).
Compte rendu du projet de recherche ENIGMES
p.97
2006-2007
une variation autour d’un motif connu, un
jeu musical performatif, un jouet
contemplatif…etc
sans interactivité. Le logiciel Mimesis41 permet de
réaliser des modélisations physiques animées
d’ensemble de masses reliés entre elles subissant
des contraintes, ces objets sont sonores et
interactifs, mais ne sont pas conçus comme des
notations.
Dans les deux cas, la partition navigable fonctionne
comme celles des œuvres ouvertes, c’est-à-dire
qu’une certaine liberté est laissée à l’interprète ou au
joueur. Cette liberté est définie et contrainte par les
règles d’interaction. Toutefois le terme de forme
ouverte, s’il donne un cadre générique et historique,
renvoie à un champ trop étendu. Pour être navigable,
la notation doit obéir à des règles d’interaction
simples pour l’ordinateur et assimilables par
l’interprète. Le graphisme doit également être jouable.
Les écritures graphiques ouvertes comme celles de
John Cage ou Earl Brown…ne permettent pas une
interaction directe car elles sont conçues pour être
lues et le cas échéant pour questionner la règle
même.
Dans l’article Concurrent constraints models for
interactive scores [4] on trouve une excellente
définition de l’approche temporelle des partitions
navigables : « An interactive score is a set of musical
objects (such as notes and events) that are bound
with temporal relations. In this set, some events are
chosen to be interactive… ». Il faudrait y ajouter la
dimension navigable c’est-à-dire la conduite
interactive. Dans le même article, les auteurs
distinguent le processus de composition, au cours
duquel la partition interactive est crée, de la
performance au cours de laquelle elle est jouée.
S’agissant de musique électroacoustique, la partition
est une interface / transcription réalisée a posteriori
par une tierce personne (designer de partition
navigable) dans une perspective définie par
l’application.
Références et différences
Le point de départ de notre travail sur la navigation
sonore vient de projets de réalité virtuelle comme
ICARE37. Des expériences préalables au projet « les
îles » ont été réalisées dans le cadre du projet
PHASE[9]. Nous avons trouvé peu de références
concernant les partitions navigables : souvent les
sujets trouvés sont liés à des questions proches mais
différentes: programmation de musique interactive,
algorithmique ou générative, forme ouverte (ou œuvre
ouverte), suivi animé automatique, karaoké, nouvelles
notations, graphisme sonore interactif, navigation
sonore…etc
quatres métaphores
Les Iles42
Des surfaces en relief sont fixées sur une tablette
graphique et fonctionnent comme guide haptique
passif pour la navigation sonore. Différentes formes
de surface offrent des variantes de modalités de jeu
et d’interaction. Deux métaphores d’usages ont été
développées :
Mais rares sont les publications dans lesquelles
apparaissent une réflexion générique et un travail de
conceptualisation sur la navigation sonore dans une
partition où le support de représentation de la forme
musicale devient également comme espace de jeu.
Voici quelques travaux dans lesquels des questions
proches sont abordées : Maquette d’Open Music38 où
des actions séquentielles et des interventions
interactives sont possibles, mais dont les objectifs
sont le déclenchement et le contrôle d’événements ou
d’algorithmes musicaux au cours de l’exécution d’un
morceau. Le logiciel Iannix39 propose une
représentation graphique séquentielle de paramètres
sonores continus avec très peu d’interactivité.
OTL(PTL)40 est un éditeur de partitions graphiques
contrôlant dynamiquement des paramètres continus
1 - des modules de jeu pour le concert et l’improvisation
électroacoustique
2 - un programme d’aide à l’apprentissage de l’écriture
à l’interprétation musicale pour gagner en
spatialité, en réversibilité, en multidimensionnalités, en ouverture etc. On retrouve
ici les vieilles questions de l’oeuvre ouverte,
partition = espace virtuel, actualisé, le temps de
l’expérience interactive. » Anne Sedes en
commentaire à la lecture de cet article.
37
Réalité virtuelle I.Chabanaud R.Cahen
B.Herblein CICV (19961998)
http://www.ircam.fr/44.html?&tx_ircam_pi2%5Bsh
owUid%5D=3&cHash=1af41e7e66 http://bruno.cicv.fr/boulot/icare/icare2.html
41
http://wwwacroe.imag.fr/produits/logiciel/mimesis/mimesis.h
tml
42 Projet de Marine Rouit conception et
expérimentation supports physique d'interation
Yiulia Samul expérimentation musicale Zheni
Meria, Claire Moulin Encadrement 3D Virginie
Sebbag. Le titre métaphorique évoque bien sûr
la navigation, mais également le fait que la
surface soit isolée sur la tablette comme un
corps concret au milieu d’un océan de nombres.
38
http://recherche.ircam.fr/equipes/repmus/OpenMu
sic/
39
http://iannix.la-kitchen.fr/iannix.html
40
http://dh7.free.fr/otl/PTL_dh20040312.pdf
Compte rendu du projet de recherche ENIGMES
p.98
2006-2007
et différent pour chaque surface. Sur une même
surface, des jeux de son, un mapping et des players
différents donnent des résultats différents. Cette
étape de construction est déterminante pour la
qualité expressive du résultat. Une fois les jeux
construits, l’instrument est jouable par quiconque,
mais pour en tirer des résultats intéressants, il faut
répéter. Le repérage topographique ne donne aucune
indication quant aux contenus sonores et il
appartient à l’interprète de se les approprier et d’en
maîtriser précisément la gestuelle.
Piège à Rêve44
Figure 4. Piège à rêve (music textile)
Figure 2. Les îles 43: interface de jeu avec manipulation du
stylet sur une surface (une île) composée de cercles
concentriques propice aux mouvements circulaires. Sur
chaque cercle est enroulée une séquence sonore différente.
Piège à Rêve utilise une interface gestuelle textile
carrée de 1,5 m de coté sensible à l’appui manuel
qui renvoie via MIDI la position de la main en x,y.
À la rencontre du monde du tissage, de la musique
et de l’électronique, cet instrument est né de la
volonté de travailler sur l'ergonomie des interfaces
numériques. Grâce à sa taille et sa matière, cette
interface donne une place plus importante aux
gestes d'un utilisateur que les instruments
électroniques existants. Conçue pour des musiciens
comme instrument de scène, elle offre un accès
intuitif à la composition en direct et à l’interprétation
en concert des musiques électroniques et
électroacoustiques. Nous avons disposé sur la toile
des représentations actives des différents motifs
sonores composant la pièce afin que l’interprète
puisse jouer la pièce en déplaçant la main sur ces
représentations avec toutes les nuances gestuelles et
sonores nécessaires à l’interprétation.
Figure 3. Les îles : surfaces de jeu. Chaque surface propose
des formes privilégiant certains gestes, des distributions
sonores, des règles de navigation, des modes de jeux
différents.
44(ou Music Textile) Projet de Maurin
Donneaud, Composition et interpretation
musicale Marco Marini, Graphisme Laurent
Herbet, Design interaction et visuel Maria Laura
Mendez Marten, Chercheur associé : Vincent
Rioux. Le titre, traduction approximative de
dreamcatcher, exprime la volonté non d’arrêter
les cauchemars, mais de capter le regard
divagant des auditeurs.
Le fait de changer de topologie (de surface de jeu) en
conservant les mêmes sons affecte considérablement
les possibilités expressives.
Un travail de construction des jeux est indispensable
43
Les Iles : photos de Veronique Huyghe.
Compte rendu du projet de recherche ENIGMES
p.99
2006-2007
dimension. La navigation est contrôlée par un
joystick.
On définit des comportements graphiques et
sonores : Chaque événement sonore est symbolisé
par un objet graphique associé au type du son. Les
formes et les textures de ces objets sont associées
aux sons et aux comportements dynamiques, alors
que les tailles et les couleurs dépendent des
paramètres d’interprétation choisies par le joueur.
Chaque évènement peut avoir différents
comportements sonores en fonction de la navigation,
du type de sons et des choix d’interprétations.
Figure 5. Une partition jouable de la pièce de Marco Marini.
Dans cet exemple, la partition est une simple
exposition des motifs de la pièce. L’interprète
mémorise le déroulement temporel. Le principe
musical s’appuie sur un modèle figure sur fond, les
fonds sont représentés par les 4 matières tramées à
gauche de l’image.
Figure 7. Les formes graphiques associées à différents
types de sons, à gauche, peuvent prendre différentes
couleurs et textures, à droite, selon les choix
d’interprétation.
Figure 6. Marco Marini en situation de concert
Ce dispositif rencontre un vif succès auprès du
public ; C’est un spectacle fascinant constituant une
innovation pour l’interprétation en musique
électroacoustique.
Feuillage45
Feuillage est un projet de navigation dans une
partition graphique 2D. Cet ouvrage s’attache tout
particulièrement aux modalités d’interaction
temporelles sur une interface écran en deux
Figure 8. Modalités d’interaction dans Feuillage
45
Design Interaction et développement Matthieu
Savary, Zeev Zohar, Emmanuel Debien Graphisme Catalina Quijano - Dev Virchor AnneCatherine Milleron, Benoit Montigné - Musique
Eric Broitmann.
Compte rendu du projet de recherche ENIGMES
p.100
2006-2007
Le joueur46 est guidé par des trajectoires prédéfinies
et évolutives : la composition originale constitue le fil
conducteur modèle (aimanté) représenté sur une
ligne droite. A chaque nouvelle interprétation on peut
dévier de cette ligne et faire évoluer l’interprétation
de la pièce d’une interprétation à l’autre. À la fin de
chaque nouvelle interprétation, un tableau statistique
est produit et confronté aux autres. Au début de
chaque interprétation, on choisit de redéfinir la
représentation selon différents critères. Au cours de la
navigation des indications statistiques renseignent
également le joueur sur le chemin le plus populaire,
composition originale, les plus rapides (Figure 9)…
Plumage est un dispositif de navigation sonore dans
un espace de représentation en 3D composé d’un
ensemble de plumes . Chaque plume est un petit
objet visuel 3D déclenchant un échantillon sonore au
passage de têtes de lecture. L’ensemble des plumes
est généré et disposé à l’aide du programme de
synthèse concaténative CatArt de Diemo Schwarz48.
La synthèse concaténative consiste à découper une
séquence sonore en un ensemble de grains et à
répartir ces grains en fonction de plusieurs
descripteurs sonores sélectionnés et affectés à une
représentation graphique (x,y,z. couleur…etc) Une
fois les représentations de ces grains disposés dans
un espace navigable, ils sont rejoués par un
ensemble de têtes de lectures animées. Il s’agit ici
d’enrichir la navigation dans les grains de son par la
navigation visuelle en 3D afin de catégoriser plus
finement les sons en fonction de davantage de
descripteurs qu’en 2D, mais également de tirer
avantage de l'espace graphique 3D pour concevoir
de nouvelles modalités de navigation et de rendu
sonore. La navigation 3D temps réel est
implémentée dans Plumage sur l'outil OpenSource
d'interaction et de rendu graphique spatialisé Virtual
Choreographer (VirChor). VirChor est développé au
LIMSI-CNRS par Christian Jacquemin et s e s
collaborateurs.49
Figure 9. Vue globale d’une maquette interactive simple de
la pièce électroacoustique d’Eric Broitmann. Chaque feuille
symbolise un événement sonore déclenché au passage du
pointeur de navigation.
Figure 11. Aspect visuel de plumage avec au loin en blanc
les trajectoires des têtes de lecture. Les couleurs sont
associées à l’échantillon sonore.
Figure 10. Version Internet avec statistiques de navigation
Plumage47
46
Le terme de joueur désigne ici celui qui joue la
musique, l’interprète, l’utilisateur... La jouabilité
est un critère important d’évaluation en musique
comme dans les jeux ; ici, essentiel puisque les
partitions navigables doivent faciliter l’accès à la
musique…etc.
47Projet de Yoan Ollivier - Design Interaction et
développement Ben Wulf, Svetlana Bogomolova,
Adrien Aybes-Gille - Dev Virchor Rami Ajaj Chercheurs associés : Christian Jacquemin, Diemo
Shwarz.
Compte rendu du projet de recherche ENIGMES
48
http://recherche.ircam.fr/equipes/analysesynthese/schwarz/.
49
http://virchor.sourceforge.net/.
p.101
2006-2007
Figure 14. Représentation schématique dans Max/MSP du
fonctionnement de la librairie ENIGMES-Lib
Figure 12. Maquette avec une tête de lecture composée de
deux disques. Les plumes sont en rouge, le fil conducteur
de la tête en orange.
La programmation du système consiste a définir des
figures repérées dans l’espace de navigation et à
leur attribuer des comportements sonores.
Cette opération comporte trois étapes:
- les détecteurs chargés de détecter les coordonnées
du pointeur dans une forme donnée.
- la partie m a p p i n g permettant de relier les
paramètres significatifs issus des détecteurs aux
contrôles des paramètres sonores des générateurs.
- les générateurs sonores chargés de produire les
sons.
Les interfaces utilisées
La souris
Données utilisées en sortie: x,y(position), clic
(contact), delta (accélération)
Figure 13. Maquette avec 3 têtes de lectures comportant
chacune jusqu’à 3 déclencheurs.
La tablette graphique
Données utilisées en sortie: x,y(position), tiltx, tilty
(orientation du stylet), contact, pression, présence
sur la tablette
OUtil informatique : ENIGMES-Lib
Une notation active implique un travail graphique et
une interprétation des actions relatives aux objets
graphiques concernés. C’est la fonction de la librairie
ENIGMES.
L’interface textile (ou piège à rêve)
Données utilisées en sortie: x,y(position), contact
Nous avons développé une librairie d’abstractions
Max/MSP (ENIGMES-Lib50) dédiée à la reconnaissance
de la position d’un pointeur dans une forme
prédéfinie.
1/Les détecteurs
Ils permettent de connaître la position du pointeur
(souris, stylet ou contact) à l'intérieur d'une surface
Deux types de détecteurs :
- Surfaces :
rectang
Surface rectangulaire à l’intérieur de laquelle on
identifie : si on est dedans/dehors et la position x,y
à l'intérieur du rectangle
anneau
50
Roland Cahen, Jean-Philippe Lambert et la
participation de Diemo Schwarz pour ftm-curve.
Compte rendu du projet de recherche ENIGMES
Surface circulaire ou annulaire: on identifie si on est
p.102
2006-2007
dedans/dehors, la distance au bord intérieur ou au
centre, un angle en valeur absolue (entre 0. et 1.), le
nombre de tours effectués à partir du contact
La recherche dans les écoles supérieures d’art
La recherche dans les écoles supérieures d’art et de
design est un développement normal de
l’enseignement qui y est dispensé aujourd’hui. Le
- Courbes de tracé
projet historique du design est d’enraciner le monde
contemporain
dans l’art et inversement. Les objets
51
courbe ftm
deviennent de plus en plus complexes et les
véritables créateurs d’aujourd’hui sont les
La courbe ftm est une courbe de forme libre, où tous
chercheurs. Malheureusement, on n’enseigne encore
les points sont enregistrés lors d’un parcours
ni la création dans les grandes écoles et les
d’enregistrement. En relecture, on identifie la position
universités, ni la recherche dans les écoles d’art et
du pointeur sur la courbe en valeur absolue, en
de design. Les élèves designers accèdent
fonction du temps d’enregistrement (entre 0. et 1.), le
difficilement à des postes de conception dans les
n° du point le plus proche sur la courbe, la distance
domaines de hautes technologies et les scientifiques
au point le plus proche sur la courbe, si on est sur la
ne sont pas armés pour des projets créatifs et ne
courbe ou non, si on est dans la région de la courbe
sont confrontés à la question des usages que sur
ou non.
des bases de conception qui le plus souvent leur
La librairie ftm offre plusieurs avantages pour réaliser
échappent. Les projets interdisciplinaires sont rares
ce type de détection par rapport à un patch Max
et l’on se tourne le dos en attendant que l’autre
traditionnel : l’utilisation des matrices permet de
veuille bien reconnaître sa légitimité. La création
ranger simplement toutes les positions des points de
artistique appliquée peut pourtant apporter une aide
la courbe, des les sauver avec le patch, d’en avoir un
substantielle à des projets de recherches. Outre les
nombre important. Pour la détection, on utilise l’objet
recherches portant sur les domaines de l’art, elle
mnm.manalahobis afin de retrouver facilement le
peut permettre de développer des perspectives que
point le plus proche.
les chercheurs n’ont pas la possibilité d’étudier et
d’envisager, des applications, des débouchés ou des
formes de présentations impraticables dans le cadre
3/Les générateurs
courant des projets de recherche. L’artiste et le
designer sont des créateurs de sens, focalisés sur les
grain player52
question d’appropriation et d’usage. Ils possèdent
Permet de jouer un son enregistré par lecture
des compétences approfondies dans les champs de
granulaire (interpolation de plusieurs microboucles)
la conception, scénarisation, modélisation,
permettant de se déplacer dans le son sans altération
communication. Les designers ont également un
de la hauteur. Les principales commandes sont la
solide savoir faire dans les méthodes de
position dans le temps (0. 1.) la transposition
développement des projets industriels. Grâce à de
hauteur, le volume.
tels apports, à condition que ces projets bénéficient
d’un bon encadrement, il est possible de générer de
scratch player
nombreuses pistes de développement et d’adjoindre
à ces projets des partenariats industriels. L’ENSCI
Effet comparable au scratch de vinyl ou de bande
dispose pour cela d’un encadrement pédagogique
magnétique, c'est-à-dire la position du pointeur
spécialisé dans les projets de conception industrielle.
modifie directement la position temporelle dans le
De tels dispositifs aux vertus pédagogiques
son et la vitesse du mouvement modifie la hauteur du
importantes peuvent donner aux étudiants l’occasion
son. Les commandes sont la position dans le temps
d’une initiation en vraie grandeur et une chance de
et le volume.
déboucher sur des contenus et des réalisations à
l’échelle du monde contemporain.
position player
Une situation problématique
Permet de jouer un son à sa vitesse normale en
faisant simplement varier l'intensité en fonction de la
vitesse du mouvement. Le premier point d’entrée en
contact détermine le début de la lecture. Les
principales commandes sont la position dans le
temps (0. 1.) qui définit le début de la lecture, le
volume et sa pente d’atténuation après le
relâchement (release).
La recherche dans les écoles supérieures d’art et de
design se heurte à un problème de formation et de
statut des enseignants. Les écoles supérieures d’art
dépendent du Ministère de la Culture et pour l’ENSCI
également du Ministère de l’Industrie. A l’heure
actuelle, seules les universités et les écoles
supérieures sous tutelle de l’éducation nationale
sont habilitées à délivrer les diplômes de 3ème cycle.
Cette situation constitue un frein considérable au
développement de la recherche dans notre domaine.
Les raisons sont principalement le fait de l’éducation
nationale et universitaire : la non reconnaissance des
diplômes d’enseignants artistiques, le refus de
prendre en compte les ouvrages d’art comme valeurs
pédagogiques comparables aux travaux écrits… mais
également la désorganisation de la filière artistique
et en particulier son manque de coordination au
niveau européen. On peut également déplorer le
manque d’enseignements scientifiques adaptés à nos
écoles. Enfin, les enseignants y étant essentiellement
simple player
Un simple player de fichier audio dont les
commandes sont : play, stop, volume.
51
FTM est une librairie objets de Max/MSP
développée par l’équipe Applications Temps Réel
de l’Ircam sous la direction de Norbert Schnell
www.ircam.fr/ftm.
52
Ce générateur utilise l’objet sogs~ de Norbert
Schnell.
Compte rendu du projet de recherche ENIGMES
p.103
2006-2007
vacataires, il est problématique de leur demander
sérieusement de gérer des projets de recherche.
Quant aux rares titulaires, ils n’ont pas d’heures
consacrées à la recherche dans leur emploi du temps.
À terme, il est probable qu’une nouvelle génération
d’artistes universitaires viendra remplacer celle des
artistes enseignants, ce qui ne serait pas un problème
dans les pays où les enseignements universitaires
donnent une expérience pratique incontestable, mais
c’est rarement le cas en France.
Une recherche collaborative portant sur des questions
et des contenus définis et partagés
Nous souhaitons faire prendre conscience à nos
étudiants de l’éthique et des méthodes de la
recherche, sous la forme de quelques règles simples,
enseignées en première année universitaire dans les
disciplines scientifiques mais qui ne le sont pas
encore dans les écoles d’art :53
RÉFÉRENCES
[1].
Plumage: Design d’une interface 3D pour le
parcours d’échantillons sonores granularisés
Christian Jacquemin.
[2].
Visualisation 3D interactive : contrôle et
intégration de l’audio Christian Jacquemin
http://sic.sp2mi.univ-poitiers.fr/GTrendu/articles/Jacquemin.pdf
[3].
Trends in Gestural Control of Music : Gesture
– Music : Claude Cadoz Marcello Wanderley.
Typology of Tactile Sounds and their Synthesis in
Gesture-Driven Computer Music Performance : Joseph
Butch Rovan Vincent Hayward. Mapping Strategies
for Musical Performance : Andy Hunt Ross Kirk
(2000, Ircam - Centre Pompidou)
[4].
Concurent constraints models for interactive
scores Allombert, G. Assayag, Desainte-Catherine, C.
Rueda
http://mediatheque.ircam.fr/articles/textes/Allombert0
6a
Toute hypothèse est énoncée et vérifiée. Elle fait
l'objet d'un développement théorique et d’une
modélisation expérimentale.
Toute expérience est validée soit par des mesures
directes soit par le biais de tests utilisateurs.
[5].
Un travail de recherche documentaire est mené avant
ou pendant le projet et les sources sont explicitement
citées.
[6].
Un travail écrit et/ou une communication interne
audio/visuelle descriptive accompagne chaque étape
du développement du projet et précise les
contributions du travail réalisé par rapport à l'état de
l'art.
[7].
Le contenu de la recherche est partageable, partagé
avec les membres de l’équipe de développement et
validé par les responsables scientifiques. Le travail
est partagé le plus équitablement possible entre les
membres de l’équipe selon les compétences et
l’engagement de chacun.
Les résultats font l’objet d’une communication et
d’une publication sous la forme démonstrative la plus
adéquate possible54.
Musique Architecture (Casterman 1971)
Iannis Xenakis
Musique et arts plastiques : interactions au
XXème siècle (Musique Ouverte MINERVE). Le Son et
le Visuel (Dis-Voir) Jean-Yves Bosseur
« é c r i t u r e s m u s i c a l e s » Mémoire
de fin d’étude ENSAD Julie Linotte
[8].
"Interfaces Multimodales : Concepts,
Modèles et Architectures". Thèse de Doctorat,
Université Paris XI, Orsay, 1995 Y. Bellik
[9].
PHASE Project (Les journées du design
Jean-Philippe
Lambert
sonore2004)
http://mediatheque.ircam.fr/articles/textes/Lambert04a
/
[10].
Chion
l’Audio-vision (Nathan Université) Michel
[11].
Music Listening: What is in the Air ?
Interactions réflexives : du « c’est marrant » aux
machines à Flow François Pachet
Conclusion
La notion de partition navigable est très prometteuse
bien que sa mise en œuvre reste encore à ce jour
encore complexe et les questions posées sont loin
d’être résolues. Les 4 métaphores développées
montrent néanmoins des formes et des usages
intéressants et différenciés. Parmi les métaphores
explorées, certaines sont artistiques, d’autres
utilitaires, d’autres portent sur des problématiques
plus fondamentales, enfin certains travaux explorent
des champs improbables mais tout à fait intéressants
et dont les débouchés sont plus difficiles à repérer.
Les réalisations du projet ENIGMES montrent l’intérêt
de ce genre de projet sur un plan pédagogique
comme du point de vue de la recherche. Des résultats
artistiques de grande qualité peuvent être également
au rendez-vous.
53
Nous listons ici ces règles à l’intention des
étudiants et enseignants des écoles d’art.
54
Sauf NDA dans le cas de partenariat de
développement.
Compte rendu du projet de recherche ENIGMES
p.104
2006-2007
Les pages web du projet
http://projetenigmes.free.fr/
Le wiki du projet
http://www.ensci.com/design-creationindustrielle/enseignement/domaines-denseignement/2/studio-sonore/
La page du projet sur
le site de l’ENSCI
http://perso.orange.fr/roland.cahen/
Page perso de Roland
Cahen
http://xyinteraction.free.fr/
Le site de XY
interaction de Maurin
Donneaud
http://www.interface-z.com/
Partenaire pour la
réalisation
électronique de
l’interface
http://smallab.com/feuillage/
Le site de l’ouvrage
Feuillage
http://www.indirections.net/testing/enigmes/
Le site de test de
Benoit Montigne
application en l’état
(non finalisé)
http://www.indirections.net/testing/feuillage/
http://www.msavary.fr/
Page perso de
Matthieu Savary
http://kataki.net/
Page perso de
Katalina Quijano
http://www.limsi.fr/
LIMSI
http://www.limsi.fr/Individu/jacquemi/
Page de Christian
Jacquemin
http://www.ircam.fr/
Ircam
http://recherche.ircam.fr/equipes/analysesynthese/schwarz/
Page de Diemo
Schwarz
http://www.lesyeuxfermes.com/
Journal sonore de
Marine Rouit
Le DVD
Réalisation Matthieu Foulet
Un résumé audiovisuel du projet de 20 minutes expliquant les grandes lignes du projet et présentant
des vidéos des démonstrateurs
Sur demande roland.cahen@ensci.com
Compte rendu du projet de recherche ENIGMES
p.106
2006-2007