ENIGMES Un projet de recherche et d'expérimentation pédagogique Expérimentation de Nouvelles Interfaces Gestuelles Musicales et Sonores LA PARTITION NAVIGABLE Compte rendu du projet par Roland Cahen avec les contributions des étudiants, artistes et chercheurs ayant participé au projet : notamment Marine Rouit, Marco Marini, Christian Jacquemin, Diemo Schwarz, katalina Quijano… Résumé ENIGMES (Expérimentation de Nouvelles Interfaces Gestuelles Musicales et Sonores) est un projet de recherche et d’expérimentation pédagogique interdisciplinaire développé à l’ENSCI (Ecole Nationale Supérieure de Création Industrielle) en 2006-2007 dans le cadre du studio de création sonore de Roland Cahen. Les champs de compétence concernés sont : conception d’usage, graphisme, musique, informatique Le projet concerne des étudiants, enseignants, chercheurs et artistes. Le thème en est la partition navigable (ou partition instrument) soit une approche interdisciplinaire de la composition et du jeu musical électroacoustique tirant parti des possibilités offertes par les outils numériques. La recherche musicale portée sur des problématiques d’usage dans un cadre pédagogique. Quatre métaphores d’usage ont été définies et développées : deux concernant les interfaces gestuelles et deux les modalités de navigation sonore en 2 et 3D. Compte rendu du projet de recherche ENIGMES p.1 2006-2007 Résumé 1 I-Présentation générale du projet 1.-Générique Organisation 2.-Compte rendu de l’organisation Planning rétroactif 5 5 5 6 6 II-Définition du contenu 1.-La partition navigable Le spectacle du concert numérique Le réel et le montré Le statut de l’interprète/joueur Références et différences 2.-Glossaire commenté Domaine d’application Métaphore d’interaction Scénario d’usage Sujet de travail Concepts Musicaux ou de navigation sonore Notation musicale Transcription musicale Représentation sonore Représentation musicale Navigation sonore 7 7 7 8 8 9 9 9 10 10 10 10 10 10 10 10 10 III-Les ouvrages 1. XYinteraction : « Piège à Rêves Compte rendu de fin de recherche par Marco Marini Compositeur (04/04/07) A. Piège à Rêves : L’univers sonore et la création musicale B. Piège à Rêves : Calendrier des évolutions C. Piège à Rêves : L’interface textile D. Piège à Rêves : Considérations personnelles 2.FEUILLAGE La métaphore de l’arbre Esquisse en 3D Navigation libre – parcours contraint Composition, décomposition et recomposition Comportements graphiques et sonores des évènements Modalités de navigation Situation d’usage Plateforme de développement Projet d’interprétation collaborative Conclusion 3.Projet « LES ILES » Introduction Principe général Technologie : La palette graphique « préparée ». Définition du projet Définition de 2 pistes de projets : 2 scénarios d’usage Une Table d’improvisation Objectif Recherches Modélisation 3D et le fraisage numérique Réalisation des patchs Max/MSP Finalisation L’objet final Un cahier d’écriture 4.PLUMAGES Naviguer dans une collection d’échantillons sonores Principes de CatART Description du projet Plumage 11 11 12 12 14 15 17 20 20 21 21 22 22 23 25 26 26 29 30 30 30 30 32 33 33 33 33 36 38 38 39 44 46 46 46 46 Compte rendu du projet de recherche ENIGMES p.2 2006-2007 Plumage: Design d’une interface 3D pour le parcours d’échantillons sonores granularisés 4 ANALYSE ET RESYNTHÈSE SONORE 5 MISE EN ŒUVRE 6 PERCEPTION DES INTERACTIONS MUSICALES ET VISUELLES References 5. Peinture Sonore Installation Visuelle - Sonore Interactive pour Saxophone Baryton en Mi b 4. Proposition artistique 5. Proposition technique 4. Proposition artistique 5. Proposition technique 47 50 51 51 52 53 53 54 54 55 56 IV-Questions et réflexions 1.La recherche art et science à l’ENSCI Musique et création industrielle : le design sonore en question Un potentiel fondamental Une situation historique problématique (point de vue) Une recherche collaborative portant sur des questions et des contenus définis et partagés 2.Terminologie : partition navigable ou quoi ? 3.Liberté et contrainte Entre notation et instrument, une zone floue. Tentative d’éclaircissements Suffer sur, remixer ou interpréter l’œuvre La palette d’objets sonore Mise en mouvement du joueur et notion de guide Un même objet visible, jouable et audible Les déclencheurs ou triggers Comportements visuels et sonores des objets excités 4.transformabilité et jouabilité de l’interface musicale 5.Le designer ou le compositeur de partition navigable, un nouvel art entre composition et interprétation Topographie Topophonie 6.le concert électronique comme spectacle Le réel et le montré 60 60 60 60 60 60 61 61 61 62 62 62 63 63 63 63 V-Outillage technique 1.Développement informatique ENIGMES-Lib Les interfaces utilisées 1/Les détecteurs 3/Les générateurs Distribution de la librairie ENIGMES Évolutions de la librairie 2.Notions d’interaction sonore Petite typologie des interactions sonores et musicales Modes d’interaction Temporalité des interactions Critères de sélection d’un type d’interaction Mapping des paramètres d’interaction Plan schématique du mapping contrôleur/son 66 66 67 67 67 68 68 68 68 69 69 70 70 71 VI-Conclusion Résultats positifs Aspects à développer Un modèle possible de projet de recherche à l’ENSCI Limites du modèle 72 72 72 72 72 VII-Annexes 1.Images du projet 2.Textes et images des étudiants rédigés et réalisées au cours du projet Zeev Zohar : définitions du fonctionnement du système statistique de Feuillage Catalina Quijano : prédéfinition graphique Feuillage 4.Qu’est-ce qu’un instrument ? 5. Cahier des charges du développement de Plumage protocole de communication 6. Publications Article des JIM 07 résumé complet du projet, de son contexte et de ses développements RÉSUMÉ partitions navigables quatres métaphores 73 73 77 77 82 86 89 93 96 96 96 96 98 Compte rendu du projet de recherche ENIGMES p.3 2006-2007 63 63 64 64 64 OUtil informatique : ENIGMES-Lib La recherche dans les écoles supérieures d’art Conclusion RÉFÉRENCES Les pages web du projet Le DVD Compte rendu du projet de recherche ENIGMES 102 103 104 104 105 106 p.4 2006-2007 I-Présentation générale du projet 1.-Générique Organisation Pilote du projet ENSCI – Ecole Nationale Supérieure de Création Industrielle Responsable du projet Roland Cahen : compositeur électroacoustique, designer sonore, enseignant fondateur du studio sonore de l’ENSCI Partenaires pédagogiques UNIVERSITÉ PARIS XI, Classe de musique électroacoustique de l’Ecole Nationale de Musique de Pantin Collaborations scientifiques LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (Christian Jacquemin) IRCAM - Institut de Recherche et de Coordination Acoustique et Musique (Equipe Application Temps Réel : Diemo Schwarz) Collaborations artistiques Marco Marini : compositeur Eric Broitmann : compositeur Partenaire d'accueil Le Cube (art 3000) Issy les Moulineaux Participants Anne-Catherine Milleron acmilleron@gmail.com, Azadeh Nilchiani azadehf.nilchiani@gmail.com, Emmanuel Debien emmanuel.debien@gmail.com, Eric Broitman ericbroit@wanadoo.fr, Joan Bagés i Rubí joanbir@hotmail.com, Luciana Gonzalez Franco loopaula@hotmail.com, Marco Marini marini.mko@wanadoo.fr, Marine Rouit marine@rouit.com, Matthieu Savary msavary@gmail.com, Maurin Donneaud maurin.box@free.fr, Santiago Tomás Díez diezfischer2003@gmail.com, Yoan OLLIVIER yoan.ollivier@gmail.com, Zheni Zhmer zhmer77@yahoo.fr, Laurent Herbet airebvision@yahoo.fr, Claire Moulin claire.moulin@free.fr, Benjamin Wulf benwulf@gmx.de, Benjamin Chardinal bchardinal@hotmail.fr, Svetlana Bogomolova sveta.bogomolova@gmail.com, Katalina Quijano kataqui@hotmail.com, Yulia SAMUL jsamul@mail.ru, Zeev Zohar zoharnzn@netvision.net.il, Maria Laura Mendez Marten mm@mmmaria.com Concepteurs d‘ouvrages Yoann Olliver, Marine Rouit, Maurin Donneaud, Mattieu Savary Aide en développement Jean-Philippe Lambert, Virgine Sebbag, Rami Ajaj, Benoit Montigné, Anne-Catherine Milleron Diemo Schwarz, Christian Jacquemin, Roland Cahen Comité de pilotage Claude EVENO Christian Jacquemin Diemo Schwarz Christine Groult Françoise Courbis Annie Gentès Compte rendu du projet de recherche ENIGMES p.5 2006-2007 Financement du projet Le projet a été principalement supporté par l’ENSCI, il a reçu la Bourse de recherche Pierre Schaeffer de la Société Civile des Auteurs Multimédia SCAM et une aide aux projets de recherche dans les écoles d’art de la Délégation aux Arts Plastique DAP, une demande a également été faite à la DMDTS - Le budget global se monte à 11 500 euros, pour un apport de 6 500 euros. Le projet a également bénéficié d'apports en nature de ses partenaires et participants. 2.-Compte rendu de l’organisation Planning rétroactif • Lancement du projet Janvier 2006 • Février à Juin : projets de définition : Marine Rouit, Yoan Ollivier, Maurin Donneaud, Katalina Quijano • du 25 au 30 septembre : workshop et séminaire à l’ENSCI • Octobre-Novembre 2006 : développement des ouvrages • MARDI 7 Décembre : Soirée CôTé LABO Le Cube Issy les Moulineaux • Décembre-Janvier : finalisation des ouvrages • Le 11 janvier 2007 : concert Piège à Rêve à l’OPA Bastille • Samedi 10 Février : concert ENIGMES journées portes ouvertes ENSCI • Février–Mars : rédaction des comptes rendus et tournage DVD • 20 Mars : concert avec les Iles et Piège a Rêve à l’ENM de Pantin • 29/30Juin : Piège à Rêve en concert à Nancy festival Emil 13 • Juin 2007 Montage DVD : fin de projet… Compte rendu du projet de recherche ENIGMES p.6 2006-2007 II-Définition du contenu 1.-La partition navigable Le concept de partition navigable ou partition-instrument s’inscrit dans la perspective de celui de « navigation sonore » : c’est-à-dire un parcours dans un espace sonorisé générant une composition sonore en fonction des actions de l’utilisateur sur les objets (sonores) qui composent l’espace. Traditionnellement, la partition est indépendante de l’instrument, pour des raisons pratiques évidentes qui permettent entre autres choses une indépendance des fonctions de lecture/écriture et de jeu. Mais cette indépendance est aussi historique car le support papier de l’écriture et de la lecture peut difficilement fusionner avec l’instrument classique. Cette fusion pose des problèmes qui lui sont propres : répertoire réduit ; à un seul morceau dans le cas d’instruments construits pour une musique, ou expression instrumentale réduite ; dans le cas de la conduite fidèle d’une partition conventionnelle. Toutefois nous considérons que ces limites pourraient être dépassées d’une part en rendant transformable l’instrument et d’autre part en développant des éléments d’un Solfège Graphique de Navigation Sonore c’est-à-dire des formes types de navigation sonore. Ce néo-solfège ne pourrait probablement pas être générique contrairement au solfège traditionnel, il ne peut s’envisager que sous une forme dépendant des modalités d’interactions et des situations d’usage, voire des œuvres, comme c’est déjà en partie le cas en musique instrumentale contemporaine. Cette transformabilité de l’instrument est facilitée par les dispositifs numériques. La possibilité de modifier facilement l’interface visuelle et moins facilement mais possiblement les modalités d’interactions permet d’envisager de nouvelles distributions des fonctions entre la notation et la production sonore. Il devient possible de réaliser des formes de partitions qui soient également des instruments, autrement dit des notations actives dans lesquels les mécanismes instrumentaux et la notation peuvent être coordonnés, animés, orientés en fonction de l’usage…etc. La question posée aux étudiants était d’imaginer de tels dispositifs et de concevoir puis développer des métaphores d’usage. Assez vite, le terme de partition navigable, dont le principal avantage est qu’il suggère une certaine sophistication eu égard à la très riche histoire de la notation musicale, nous est apparu comme un boulet qui rattache trop fortement à la tradition. Ce terme peut entraîner des confusions qu’il ne faut pas laisser enfler. Lors de présentations, les questions du public musicien retournaient toujours à la question de savoir si ce que l’on proposait était « mieux ou moins bien qu’une partition musicale classique »…renvoyant la problématique de la partition navigable à celle galvaudée des « nouvelles écritures musicales », une question somme toute hors sujet. Nous avons donc cherché à prendre de la distance avec ce concept et n’avons pas encore trouvé celui qui conviendrait le mieux : les meilleurs candidats étant actuellement : Notation musicale active, Topophonies, Lignes sonores, parcours, tracés… D’un autre coté, le public des artistes visuels a tendance à confondre la démarche de la partition navigable avec celle des partitions graphiques. Certes le graphisme joue un rôle important de repérage et de mise en forme visuelle, mais la question de l’esthétique de la notation est ici accessoire. La visualisation joue un rôle avant tout fonctionnel. Elle apporte au joueur un repérage spatial/temporel et une restitution visuelle dynamique de l’interaction elle-même. L’esthétique visuelle intervient en fin de chaîne, au niveau des représentations données à voir au joueur et au public lors de la performance. La question de la relation son/image ou son/geste, prise telle quelle est également une question théorique trop générale. Pour donner du sens à cette relation, il est nécessaire de la confronter au contexte d’usage et traiter chaque situation au cas par cas. Dès que nous envisageons les cas spécifiques, les termes son , image et gestes ne désignent plus que des notions très sommaires, inopérantes pour spécifier leurs relations. Le spectacle du concert numérique Le concert électroacoustique ou acousmatique et par extension celui des musiques électronumériques posent encore aujourd’hui la question de l’absence de visuel. Dans le spectacle du concert instrumental, le spectateur regarde l’interprète et l’instrument, les gestes et les expressions du musicien, le vécu, l’effort, l’émotion…, mais le plus souvent, on voit mal l’action instrumentale. Cette imprécision joue probablement un rôle pour l’écoute. Dans le concert électroacoustique, l’expression et les gestes du musicien sont réduits à une gestique sans lien apparent avec la dynamique du contenu sonore. La relation de cause à effet échappe alors au spectateur. Le fait de voir le musicien agir avec un geste coordonné à la musique, apparaît comme un fondement important de la relation causale qui donne sa légitimité à l’interprète. Présenter une construction visuelle liée au geste du musicien, peut permettre de dépasser la mécanique peu significative de l’instrument et voir émerger une mise en représentation, un spectacle de la relation entre l’action du musicien et l’effet sonore produit. Il ne s’agit aucunement de nier l’intérêt d’une écoute sans visuel choisie dans un objectif de concentration, mais l’idée selon laquelle cette écoute serait la véritable écoute épurée est complètement ridicule. L’écoute ans la vue est un peu comme le gôut sans l’odorat. L’écoute est relié a un imaginaire diversifié selon les individus, les situations et les usages. Croire que cette construction imaginaire en grande partie visuelle disparaîtrait, chez des personnes voyantes, dès lors qu’ils ont les yeux fermés est à mon avis un leurre. Qu’en est-il de la présentation de la partition comme visuel ? On a peu d’expérience d’utilisation de la partition comme visuel du concert, encore moins d’un suivi interactif de cette partition. C’est dans cette direction que nous travaillons. Le réel et le montré Le spectacle est avant tout l’art des faux semblants. Ce qu’on voit ou qu’on entend réellement sont des formes physiques, ce qu’on vit est imaginaire. L’essentiel de l’art est dans ce dernier dont le premier est le substrat. L’honnêteté artistique est de savoir bien tricher pour donner accès à une réalité imaginaire à partir d’une réalité partiellement fabriquée, partiellement préexistante. La virtualité numérique offre dans le cadre autorisé par l’imagerie, une capacité de fabrication qui s’affranchit de certaines limite de la matérialité physique de la représentation. Là où le réel de la situation ne produit pas de sens, elle permet d’en créer. La convention théâtrale permet de s’affranchir dans une certaine mesure de la situation de représentation en s’appuyant sur la culture acquise, mais chaque théâtre est différent, aucune convention universelle réglementaire et obligatoire n’est définitive. Il en résulte que la situation vécue du spectacle colonise nécessairement le contenu artistique, même au cinéma où la norme est reine, au point que le vécu du contenu soit de facto une fusion entre le texte et la situation. Il n’est pas rare de voir sur la scène électronique une longue table sur laquelle, comme pour les conférences sont régulièrement alignés une série de laptops (ordinateurs portables) dont les couvercles relevés forment une espèce de créneau derrière lequel les musiciens se barricadent pendant toute la durée du concert comme des arquebusiers dans une forteresse. On entrevoit parfois à la lueur blafarde des écrans une activité fugace. Si c’est la seule façon de faire de la musique live, je préfère l’orchestre de haut-parleurs. On y fixe aussi bêtement des objets statiques avec leur logos de marques mais ce ne sont pas les mêmes, peut être une certaine forme d’exotisme… Lorsqu’un instrumentiste joue de son instrument en public, qu’il le reconnaisse ou non, il est en représentation. Cela se traduit par une composition théâtrale plus ou moins marquée. Le compositeur et homme de théâtre Pierre Boswillwald évoque à ce propos l’exagération des gestes de Pierre Henry à la console de diffusion. On pense également aux mouvements du haut du corps, aux effets de râles, à une certaine forme de chorégraphie certes plutôt minimaliste mais indéniable de nombreux solistes classiques. Mais plus simplement de tout un environnement théâtralisé, un cérémonial, l’invention du chef d’orchestre, dont on ne nie aucunement l’utilité mais qui de facto se produit comme danseur d’une danse technique comme le musicien est acteur d’un jeu technique. Bref, si le concert est un spectacle, le concert électroacoustique l’est également. Un spectacle étrange où la règle est un relatif silence visuel dont on pense qu’il favorise l’écoute musicale, ce que personne n’a vraiment démontré à ma connaissance. Il est certain qu’au milieu du vacarme visuel, un peu de répit ne fait pas de mal, mais l’absence de support visuel est également une mortification dont il n’est pas sûr que les effets sur l’écoute et l’imagination soient si positifs qu’on le dit habituellement. Si les exemples précédents montrent l’existence de la théâtralisation dans le concert, ils montrent également que cette théâtralisation n’est pas assumée, c’est-à-dire rarement érigée en modèle. On ne parle pas ici du théâtre musical, de l’opéra, du film musical et des nombreuses autres formes de spectacles sonores qui sont des formes de spectacle et non des concerts théâtralisés. Enfin la question des synesthésies, relation audio/visuelle et autres généralités sur les noces de l’œil et de l’oreille est également hors sujet et laissée à l’imagination du spectateur lors de la performance. Les fonctionnalités de la vue et de l’ouïe sont clairement définies par les scénarios d’usage. La vue hors temps renseigne sur la composition et les interactions gestuelles possibles, l’oreille fait entendre dans le temps du jeu le son produit lors de l’interaction avec les objets visibles physiques ou virtuels situés sur l’interface. Le statut de l’interprète/joueur Le statut de l’interprète ou du joueur dépend de l’usage de la musique. Deux situations sont principalement concernées : La situation de concert (cf.§2.1), dans laquelle l’interprète connaît bien la partition et maîtrise bien l’instrument. Son interprétation consiste à faire au cours de la performance des choix de chemins, de mise en forme et d’expression. Compte rendu du projet de recherche ENIGMES p.8 2006-2007 L’interactivité publique 1: Un parcours de découverte intuitif et/ou guidé, une variation autour d’un motif connu, un jeu musical performatif, un jouet contemplatif…etc Dans les deux cas, la partition navigable fonctionne comme celles des œuvres ouvertes, c’est-à-dire qu’une certaine liberté est laissée à l’interprète ou au joueur. Cette liberté est définie et contrainte par les règles d’interaction. Toutefois le terme de forme ouverte, s’il donne un cadre générique et historique, renvoie à un champ trop étendu. Pour être navigable, la notation doit obéir à des règles d’interaction simples pour l’ordinateur et assimilables par l’interprète. Le graphisme doit également être jouable. Les écritures graphiques ouvertes comme celles de John Cage ou Earl Brown…ne permettent pas une interaction directe car elles sont conçues pour être lues et le cas échéant pour questionner la règle même. Références et différences Le point de départ de notre travail sur la navigation sonore vient de projets de réalité virtuelle comme ICARE2. Des expériences préalables au projet « les îles » ont été réalisées dans le cadre du projet PHASE. Nous avons trouvé peu de références concernant les partitions navigables : souvent les sujets trouvés sont liés à des questions proches mais différentes: programmation de musique interactive, algorithmique ou générative, forme ouverte (ou œuvre ouverte), suivi animé automatique, karaoké, nouvelles notations, graphisme sonore interactif, navigation sonore…etc Mais rares sont les publications dans lesquelles apparaissent une réflexion générique et un travail de conceptualisation sur la navigation sonore dans une partition où le support de représentation de la forme musicale devient également comme espace de jeu. Voici quelques travaux dans lesquels des questions proches sont abordées : Maquette d’Open Music3 où des actions séquentielles et des interventions interactives sont possibles, mais dont les objectifs sont le déclenchement et le contrôle d’événements ou d’algorithmes musicaux au cours de l’exécution d’un morceau. Le logiciel Iannix4 propose une représentation graphique séquentielle de paramètres sonores continus avec très peu d’interactivité. OTL(PTL)5 est un éditeur de partitions graphiques contrôlant dynamiquement des paramètres continus sans interactivité. Le logiciel Mimesis6 permet de réaliser des modélisations physiques animées d’ensemble de masses reliés entre elles subissant des contraintes, ces objets sont sonores et interactifs, mais ne sont pas conçus comme des notations. Dans l’article Concurrent constraints models for interactive score7s on trouve une excellente définition de l’approche temporelle des partitions navigables : « An interactive score is a set of musical objects (such as notes and events) that are bound with temporal relations. In this set, some events are chosen to be interactive… ». Il faudrait y ajouter la dimension navigable c’est-à-dire la conduite interactive. Dans le même article, les auteurs distinguent le processus de composition, au cours duquel la partition interactive est crée, de la performance au cours de laquelle elle est jouée. S’agissant de musique électroacoustique, la partition est une interface / transcription réalisée a posteriori par une tierce personne (designer de partition navigable) dans une perspective définie par l’application. 2.-Glossaire commenté Domaine d’application champs de développement dans lequels des projets pourront se développer Jeux musicaux Improvisation Analyse musicale Outil pédagogique Dispositif artistique … etc. 1 « Pour ce qui concerne des oeuvres dont l’expérience du public s’inscrit dans le temps de l’interaction, la notion de partition, perd la linéarité et sa directionnalité traditionnelle, liée à l’interprétation musicale pour gagner en spatialité, en réversibilité, en multi-dimensionnalités, en ouverture etc. On retrouve ici les vieilles questions de l’oeuvre ouverte, partition = espace virtuel, actualisé, le temps de l’expérience interactive. » Anne Sedes en commentaire à la lecture de cet article. 2 Réalité virtuelle I.Chabanaud R.Cahen B.Herblein CICV (19961998) http://www.ircam.fr/44.html?&tx_ircam_pi2%5BshowUid%5D=3&cHash=1af41e7e66 http://bruno.cicv.fr/boulot/icare/icare2.html 3 http://recherche.ircam.fr/equipes/repmus/OpenMusic/ 4 http://iannix.la-kitchen.fr/iannix.html 5 http://dh7.free.fr/otl/PTL_dh20040312.pdf 6 http://www-acroe.imag.fr/produits/logiciel/mimesis/mimesis.html 7 Concurent constraints models for interactive scores Allombert, G. Assayag, Desainte-Catherine, C. Rueda http://mediatheque.ircam.fr/articles/textes/Allombert06a Compte rendu du projet de recherche ENIGMES p.9 2006-2007 Métaphore d’interaction l’action produite sur l’interface et réaction du dispositif dépend d’un scénario particulier qu’on appelle métaphore d’interaction. C’est elle qui détermine les fonctionnalités, les causes et les effets du dispositif. Scénario d’usage c’est la raison et la façon dont on utilise le dispositif, ce qu’on fait et ce qui se passe quand on l’utilise dans son contexte d’usage, par exemple un scénario d’usage courant d’une poignée de porte pourrait être de saisir la poignée la faire tourner, la tirer ou la pousser…etc. Sujet de travail le sujet de travail choisi par un groupe d’étudiants sa définition contient entre autre celle des domaines d’applications, des métaphores d’interaction, scénarios d’usage…etc Concepts Musicaux ou de navigation sonore Notation musicale écriture symbolique permettant de jouer la musique écrite (a priori)et de retranscrire la musique entendue (a posteriori) Transcription musicale graphisme symbolique permettant de noter a posteriori une musique. Cette transcription peut prendre des formes différentes afin de mettre en avant certaines caractéristiques. La transcription est une opération manuelle et qui requiert l’intelligence. Représentation sonore image représentant le son ou certaines de ses caractéristiques : forme d’onde sonagramme ; Cette représentation peut être produite par un dispositif automatique Représentation musicale extension de la représentation sonore à la musique, c’est à dire au contenu formel ou symbolique. Beaucoup plus difficile à réaliser automatiquement que le signal sonore. Il existe des modalités de représentation musicale Navigation sonore La navigation sonore consiste à parcourir une scène dans laquelle sont déployés différents acteurs sonores interactifs et spatialisés. Le joueur produit par son parcours une composition sonore ou musicale, résultant de l’organisation temporelle, du mixage et éventuellement de la spatialisation des interactions sonores avec ces différents interacteurs. C’est une transposition artistique de notre expérience sonore dans le monde réel. Le joueur peut choisir librement entre la promenade sur un mode contemplatif - jouer avec les différents comportements sonores qui lui sont proposés - ou réaliser un parcours personnel expressif ou performant. Il ne s’agit pas pour autant de mettre à la disposition du joueur un instrument, car cela impliquerait de sa part un apprentissage important. Le choix du fonctionnement musical de chaque interacteur sonore se rattache à une métaphore d’interaction qui lui est propre et résulte des fonctions musicales qui lui sont attribuées dans la composition. Il y a donc construction préalable et plus cette construction est élaborée et prend en compte le vécu du joueur, plus elle qualifie l’œuvre. Le joueur décide l’ordre de déclenchement de tel ou tel événement sonore, mais la construction est également déterminée par la configuration mise à sa disposition par le compositeur. L’espace et le temps gravent chacun leurs règles. Par exemple, deux interacteurs ne seraient pas percutés en même temps par un avatar unique de la main du joueur s’ils sont placés à une certaine distance l’un de l’autre. Le temps minimal séparant ces deux évènements-acteurs sonores dépend ici de la distance qui les sépare comme de la vélocité du contrôleur. La navigation sonore s’applique à des situations musicales dans lesquelles la métaphore spatiale offre des paradigmes musicaux non-conventionnels. Ces situations ont une teneur spatiale fondamentale et ne doivent pas êtres confondus avec de l’illustration sonore d’images, même si le visuel peut y jouer un rôle important, car si les sons peuvent être plus où moins fortement rattachés à leur cause ou leur origine, ils n’illustrent rien d’autre qu’eux-mêmes. Compte rendu du projet de recherche ENIGMES p.10 2006-2007 III-Les ouvrages 1. XYinteraction : « Piège à Rêves Un projet de Maurin Donneaud Marco Marini : compositeur et inerprète Maria Laura Mendez et Laurent Herbet : graphisme Aide en programmation : Vincent Rioux, Roland Cahen, Jean-Philippe Lambert Dispositifs électronique : Interface-z Maurin Donneaud à travailé dans le cadre de son diplôme en 2005 sur une grande interface gestuelle digitale pour la musique électronique sur scène. Dans le cadre du projet ENIGMES, nous avons souhaité lui proposer de poursuivre son expérimentation dans plusieurs directions : 1- Aboutir à un prototype fonctionnel à l’échelle 1 2- Travailler avec un compositeur et un interprète afin de se confronter à la réalité de la construction musicale et du concert 3- Intégrer une dimension graphique au dispositif dans la perspective de la partition navigable. L’interface « piège à rêves » constituait en effet une excellente plateforme pour l’exploration de surfaces graphiques jouables et posait la question passionnante de leur perception par le public lors de la performance. (cf. chap. IV.6) Compte rendu de fin de recherche par Marco Marini Compositeur (04/04/07) Invité par l’ENM de Pantin à participer au projet « Enigmes » de l’ENSCI, je collabore depuis septembre 2006 à l’élaboration de l’interface textile « Piège à Rêves ». Cette collaboration réunit autour de Maurin Donneaud (concepteur de l’objet avec Vincent Rioux), Roland Cahen, responsable artistique du projet, Laurent Herbert et Maria Laura Mendez Marten, graphistes, Jean-Philippe Lambert, programmateur et moi-même, compositeur. Dans le rapport qui suit, je dresse le bilan prospectif de cette recherche en ma qualité de musicien compositeur et interprète du « Piège à rêves ». Ce rapport se décline en quatre parties, ordonnées de manière chronologique afin de pouvoir en suivre l’évolution. La première partie présente le compterendu du workshop et les postulats de départ. La seconde partie donne le calendrier des évolutions. Y figurent les différentes étapes par dates et l’état d’avancement technique correspondant. La troisième partie dresse le bilan prospectif de l’état actuel du « Piège à Rêves ». Elle exprime également quelques souhaits et développements imaginés. Pour finir, je livre dans la quatrième partie mes impressions personnelles du point de vue du compositeur ainsi que de celui de l’interprète. A. Piège à Rêves : L’univers sonore et la création musicale Compte-rendu du workshop Enigmes du 25 au 30/09/06 à l’ENSCI Les modalités Une réflexion collective autour du nom « Piège à rêves » de l’interface de Maurin nous a conduits à imaginer ce que devraient être les modalités entre partition et interface, desquelles il serait possible de décliner par la suite un processus de composition. La métaphore implicite du titre nous a suggéré dès le départ un rapport dont les objets musicaux (le contenu) figureraient les rêves, et la partition (le contenant) le piège. Le concept de partition navigable offrant un objet hybride, mi-partition, mi-instrument, celle-ci devrait permettre la liberté d'interprétation d'un matériau sonore décidé au préalable et fixé sur elle, à l’aide d’un instrument-interface sur lequel elle serait notée. Elle devrait spécifier tous les éléments et modes de jeu possibles de manière explicite pour l’interprète de lecture. Elle devrait être lisible et interprétable par absolument tout le monde et en toute Compte rendu du projet de recherche ENIGMES p.12 2006-2007 subjectivité. Elle devrait également inviter l’observateur de l’œuvre graphique sérigraphiée sur la toile à devenir un interprète de lecture sonore des détails du tableau observé. Le processus de composition Une fois ces modalités posées, le processus de composition a consisté à élaborer un univers sonore et musical cohérent dont tous les éléments sont fixés, et donnant lieu à une partition ouverte, c’est-à-dire jouable au gré de l'interprète de lecture, sans prédétermination aucune quant au déroulement temporel des événements. Le début, les enchaînements, la fin, et le choix des objets musicaux sont à l’initiative de l'interprète de lecture. Toute interprétation doit donner un résultat musical qui soit en accord avec l'intention du compositeur, d'où la nécessité qui s’est imposée de cohérence du matériau d’une part, et d'importance de notions de couleur et d’univers sonore (du rêve) d’autre part. L’intention du compositeur se situerait principalement au niveau du choix sélectif des objets musicaux en veillant à ce que ceux-ci soient jouables simultanément et séparément de toutes les façons possibles. Un ensemble d’objets musicaux ayant une appartenance à une couleur générale, un univers commun, sons d’un seul et même instrument au service d’une unique partition, et non collection de samples destinés à un lecteur d’échantillons. Le choix des matériaux Il convenait tout d’abord d’avoir une variété de sons de différentes morphologies, allures, timbres et durées en nombre suffisant pour développer et entretenir un discours musical. L'interface de Maurin proposant un rapport de jeu gestuel et tactile, ces deux aspects pouvaient devenir des critères. De plus, ces sons seraient dessinés et auraient chacun leur représentation graphique sur la toile. Tout comme les notions de couleur, ces critères nous ont orienté dans la cohérence du choix des objets musicaux. D’une part vers des objets musicaux inspirant à l'écoute une gestuelle intuitive dont la dynamique est tracée par l'allure du son. Des sons bien dessinés dont la représentation graphique naît dans le geste (chutes, éparpillements, agitations, explosions, trajectoires, passages...). D’autre part, le rapport tactile avec le tissu a suggéré des critères de grain (objets granuleux, rugueux, élastiques, frottés, lisses…) Nous avons estimé avoir besoin d’une trentaine de sons pour une partition. La partition actuelle contient 22 sons. Il s’agit pour l’essentiel de traits, de motifs et de phrases, représentés et rejoués selon un déroulement temporel. D’autre par nous utilisons également des continuums ou des fonds représentés par des textures tramées atemporelles. Nous distinguons donc entre les figures et les fonds autant sur le plan sonore que visuel. La forme musicale À ce stade se profilait la question de la forme musicale de la composition. Lors d’une séance d’écoute de l’ensemble des matériaux, Roland Cahen nous a fait la proposition de la forme figures sur fond car les objets lui suggéraient des figures. Cette proposition s’est révélée très pertinente car elle fournissait le liant en termes de couleur, d’univers sonore et d’épaisseur, par l’ajout d’un espace tramé. Aux 18 figures furent ajoutés 4 fonds. Ces fonds devaient pouvoir tourner en boucle dans des régions délimitées sur la toile et satisfaire à l’ensemble des figures. Ils pourraient également se superposer pour être joués simultanément. Un premier montage d’environ 5 minutes sur Protools a permis de vérifier la cohérence d’univers des 18 figures et des 4 fonds. Ce montage donne également une idée d’une interprétation possible de la partition. Celle-ci s’est révélée homogène et en accord avec les postulats de départ. La partition La partition a posé d’emblée le problème de l’échelle temporelle à adopter pour permettre la lecture des signes notés. Cette échelle temporelle de lecture étant déterminante quant aux possibilités d’interprétation, nous avons imaginé et retenu les deux échelles suivantes : L‘échelle temporelle méso, c’est-à-dire celle de l’articulation des objets. (Toucher un objet déclenche sa lecture au début du son.) L’échelle temporelle micro c’est-à-dire de la matière sonore des objets.(Possibilité de se servir de son doigt comme tête de lecture, grâce à un lecteur granulaire {Grainplayer}) La représentation graphique des objets sur la partition répond à des critères d'allure, de morphologie, et de durée et indique leur positionnement sur la partition. Ce repérage physique indique à l'interprète où se trouvent les objets musicaux (figures et fonds) sur le support-partition sans lui indiquer quand les jouer, ni dans quel ordre et donne une information de localisation spatiale cohérente de la composition interne de chaque échantillon. La représentation horizontale fournit des indications sur le comportement du son dans sa durée. L’axe vertical, des indications de hauteur, de tessitures. L’épaisseur du trait, des Compte rendu du projet de recherche ENIGMES p.13 2006-2007 indications d’amplitude. Il s’agit d’une représentation graphique subjective, inspirée par celle du sonagramme. Elle est intermédiaire entre une représentation symbolique et une représentation technique en ce qu’elle permet à la fois un repérage précis dans la matière sonore et qu’elle réduit l’information visuelle au minimum utile pour l’expression de interprète. La première version de la partition proposait une répartition verticale en 4 bandes, du grave (bas) à l’aigu (haut) en passant par bas médium et haut médium. Ces quatre bandes permettaient de disposer verticalement les objets sonores en fonction de leur tessiture. Cette répartition a été abandonnée pour les limitations qu’elle présentait notamment au niveau gestuel. La question de la partition finale et/ou idéale de cet objet demande encore des concertations entre les aspects musicaux, graphiques et programmatiques avant d’arriver à une partition qui prenne en compte tous les aspects concernant critères de sons et modes de jeux et l’indique de manière explicite sur la toile. Il conviendra au final de définir le degré d’écriture de la partition (entre autoritaire et laxiste) et de distinguer les indications précises qui y seront notées. B. Piège à Rêves : Calendrier des évolutions 30/09/06 : Présentation de fin de workshop à l’ENSCI, 48 rue St. Sabin, Paris XI° : À ce stade, un seul son en mono permettait d’expliquer le processus de reconnaissance de gestes. Ce processus était assuré par un patch programmé par Maurin Donneau dans le logiciel Pure Data. La composition musicale était quasiment achevée et donnée à entendre par le biais d’un montage de 5mn sur le logiciel ProTools. A l’exception de 2 sons, tous les autres avaient leur représentation graphique, et la partition était rétro-projetée sur écran. 07/09/06 : Présentation du projet « Enigmes » au Cube, 20 cours St Vincent, Issy-les-Moulineaux : Des problèmes techniques liés à l’interface MIDI ont empêché le fonctionnement de la toile. Roland Cahen avait programmé un patch dans le logiciel MAX-MSP dotant ainsi l’interface d’un Grainplayer. La partition était sérigraphiée sur la toile. Le « Piège à Rêves » apparaissait ainsi dans sa version graphique, donnant à voir la partition sur une toile d’1,5m2. 11/01/07 : Performance à l’OpA bar, 9 rue Biscornet, Paris XII° dans le cadre d’une soirée organisée par le label parisien LEEP : Première représentation scénique avec l’interface. Roland Cahen nous a apporté une amélioration importante pour l’interprétation : la gestion du volume (intensité) des sons sur l’axe vertical des y. Un Compte rendu du projet de recherche ENIGMES p.14 2006-2007 potentiomètre linéaire a été rajouté à chaque fond afin d’en régler individuellement l’intensité. La toile contenait 20 sons (4 fonds et 16 figures) en version mono. L’éclairage fut en contre avec des projecteurs au sol, inclinés et gélatinés en bleu. 10/02/07 : Présentation du projet « Enigmes » aux portes ouvertes de l’ENSCI, 48 rue ST Sabin, Paris XI° : Seconde improvisation dans des conditions similaires. La toile comportait 22 sons en version stéréo (les 2 sons manquants ont été rajoutés et disposés sur la périphérie de la toile sans graphique correspondant, un son a été supprimé et remplacé par un autre.) 20/03/07 : Performance dans le cadre d’un concert de la classe de composition électroacoustique de Pantin, Auditorium, 42 Avenue E . Vaillant, Pantin : Troisième interprétation avec 22 sons en stéréo et spatialisation sur acousmonium (orchestre de hautparleurs) par Maria Léon-Petit. Eclairage similaire. C. Piège à Rêves : L’interface textile Le « Piège à Rêves » de Maurin Donneaud est incontestablement un instrument permettant de jouer des musiques électroacoustiques ou électroniques. Plus qu’une simple interface, il représente une alternative à la question récurrente que se posent les compositeurs électroacoustiques quant à la notion de concert. Il donne à voir et à entendre et possède cet aspect didactique apporté par la relation directe et instantanée entre toucher, voir et entendre. Parmi les nombreux retours du public, nous retenons entre autres, les notions de peinture, gestuelle, chorégraphie, « marionnettiste de sons », et surtout celle d’un objet « qui fait rêver »… On peut s’interroger sur ce « qui fait rêver », le public étant face à un écran et en situation de sentir la présence très proche de l’interprète. Sur cet écran, il visualise dans un (presque) parfait synchronisme ce qu’il entend. Je vais m’appuyer sur ces retours pour décliner mes impressions personnelles en tant qu’interprète et compositeur. La position spatiale de l’interprète La position derrière la toile est celle du marionnettiste manipulant à vue des objets en étant lui-même dissimulé à la vue du spectateur. Quoique cachée, il s’agit d’une position qui est face au public et qui permet de l’entrevoir par effet de transparence du tissu, mais surtout de ressentir sa présence, car la vue est tout de même « occupée » par la partition. La situation particulière de la présentation du 10/02/07 (ENSCI) a permis au public d’assister à la performance des deux côtés de la toile, par la présence d’une baie vitrée et d’un trottoir dans mon dos. Il paraît évident que cette double perspective présente un aspect supplémentaire pour l’audience : celui de voir le « faire » et par là même de comprendre. Mais cela n’enlève-t’il pas un peu de magie dans la part « qui fait rêver » ? Je peux affirmer pour ma part avoir joué pour le public face à moi et n’avoir (bizarrement) pas du tout ressenti la présence du public dans mon dos (séparation vitrée ?). Toutefois, cette double perspective n’étant pas à écarter, il est envisageable d’imaginer : - Un dispositif dans lequel le public serait installé en cercle et la toile positionnée au centre de celui-ci. - Un dispositif muni d’une caméra qui filmerait l’interprète de dos avec projection simultanée de l’image sur un écran, une télévision ou une autre interface textile. Dans tous les cas, la relation intrinsèque au positionnement interprète-audience est à prendre en compte pour le confort de tous. « Piège à Rêves » se présente comme un instrument de musique. Il me semble difficile d’en jouer dos au public, à la manière d’un chef d’orchestre . Le parti pris actuel m’apparaît comme idéal. La position corporelle de l’interprète L’interface se présente comme un écran textile d’1,5m2, positionné verticalement à environ 50cm du sol. Elle se joue principalement debout, mais également accroupi, voire à genoux. La partition est appréhendée dans son ensemble, et non dans les détails de son déroulement temporel, ce qui monopolise la vue d’une manière relativement passive. C’est principalement l’oreille qui renseigne sur le choix des objets et qui guide l’improvisation. L’œil évalue les distances entre les régions de la toile et renseigne sur les déplacements à effectuer. Certains mouvements peuvent être le fruit d’une impulsion corporelle, ce qui m’amène à préciser ce point, car la notion de gestuelle participe autant à l’impression évoquée de peinture que de celle de chorégraphie. La gestuelle de l’interprète Tenter de décrire une typologie simple des mouvements gestuels me conduit à les classer selon deux types d’attitude corporelle : L’attitude du peintre, relative à l’échelle temporelle micro et l’attitude du danseur, relative à l’échelle méso. Ces deux attitudes proposent des gestuelles fort différentes. Elles Compte rendu du projet de recherche ENIGMES p.15 2006-2007 sont toutes deux également attitudes du musicien. L’attitude du peintre Les possibilités de lecture (et donc de jeu) offertes par le Grainplayer permettent à l’interprète de parcourir le graphisme dans les deux sens, à deux dimensions, et à vitesse variable. Il permet aussi l’arrêt sur son. L’axe des x permet d’ explorer le son dans sa durée, l’axe des y d’en varier l’intensité (volume sonore). Ce jeu s’exprime par une gestuelle digitale similaire à celle d’un dessinateur, mais également à celle d’un pianiste, par l’utilisation des dix doigts pour jouer des échantillons différents d’un ou plusieurs sons physiquement proches sur la toile. Ce mode de jeu très rapproché avec le tissu est en rapport direct avec trois paramètres dont il faut encore à ce jour ajuster les réglages pour parfaire les possibilités d’interprétation. - En premier lieu, le rapport tactile avec le tissu conditionne la position des mains et des doigts (par extension des bras et du corps). Le tissu se révèle pour l’instant être une matière rêche qui brûle la peau à l’usage. Il est tout à fait imaginable d’utiliser d’autres tissus (feutre…) et d’autres techniques d’impression (transfert…), mais ce point particulier ne représente pas de problème en soi. Bon nombre d’instruments de musique à cordes et à peaux nécessitent un entraînement minimum nécessaire à la formation d’une corne qui protège des brûlures et ampoules occasionnées par leur pratique. Au stade expérimental de ce jour, j’utilise principalement l’ongle pour jouer une note précise, le bout des doigts pour jouer de manière « percussive », l’index plié ou l’adjonction de plusieurs doigts pour les gestes plus amples. - En second lieu, le temps de réaction et la qualité de réponse du système. Chaque représentation publique de « Piège à Rêves » a été réalisée dans des conditions techniques différentes (ordinateur, interface MIDI , carte son et système audio à chaque fois différents). Ceci nous a permis de vérifier indépendamment les défauts techniques à améliorer, mais également les conditions techniques requises pour un bon fonctionnement du matériel. En guise de conclusion de ces expériences, on ne peut que souhaiter avoir un matériel qui soit dédié à l’interface, et qui soit toujours le même, à savoir : Un ordinateur (portable) dans lequel le logiciel MAX-MSP d’installé et de puissance de processeur et RAM suffisantes pour pouvoir exploiter le patch en stéréo ; une carte son dédiée au système de 2 entrées/2sorties minimum ; une interface MIDI de bonne qualité. - En dernier lieu, le système audio. L’improvisation étant essentiellement basée sur l’écoute, celle-ci doit être de qualité et d’une puissance appropriée à l’acoustique et aux dimensions de la salle. Les représentations des 11/01 et 10/02/2007 disposaient dans le patch d’une réverbération logicielle sur l’ensemble des figures de la partition. Ceci avait pour effet d’adoucir la chute du son en le prolongeant par une petite queue à la pente décroissante. La représentation du 20/03 n’en disposait pas. Les sons avaient un arrêt brusque, une chute du son très raide et rapide. Les possibilités offertes par ces deux options nous ont amené à imaginer contrôler la réverbération par une pédale d’expression. Ce paramètre serait ainsi ajouté à ceux de l’interprétation. L’attitude du danseur: L’attitude du danseur doit permettre une gestuelle que je n’ai pas pu expérimenter de manière approfondie. Mes expérimentations m’ont permis de comprendre que cette attitude gestuelle était directement liée à la disposition des sons sur la toile. La partition actuelle n’étant pas achevée, un temps d’expérimentation sera nécessaire à déterminer avec précision la disposition idéale des sons sur la toile. La notion d’amplitude du geste est un paramètre primordial à prendre en compte dans l’élaboration de la partition finale. L’échelle de représentation des sons (leur taille sur la toile) présente également son importance. Quelques ajustements seront nécessaires pour proposer une gestuelle plus ample. La question de l’échelle temporelle de lecture est le second point important à prendre en considération à ce niveau. Le Grainplayer induit une gestuelle assez statique. Il serait souhaitable de lui adjoindre un simple player permettant la lecture du son une seule fois, dans sa durée totale et à sa hauteur d’origine par simple déclanchement de type interrupteur. On peut également imaginer des régions (rectangles) dans lesquelles les objets pourraient être lus à des hauteurs différentes en fonction de l’endroit appuyé. Ce type de player devrait permettre à son tour de développer l’amplitude gestuelle, car il ne nécessite pas d’être « collé » à la toile pour produire du son. L’organisation actuelle de la toile présente des disparités en fonction des régions observées. La partie inférieure du carré propose des possibilités de jeu micro (attitude du peintre accroupi). J’ai essayé de grands gestes circulaires pour tenter de jouer des « boucles ». Cette piste paraît très intéressante, mais elle exige une disposition des sons très étudiée, ce qui n’est pas le cas actuellement. Aller plus avant dans cette relation entre partition et gestuelle demande à préciser également les types de sons et leurs fonctions musicales Les types de sons et leurs fonctions musicales Les Fonds: Compte rendu du projet de recherche ENIGMES p.16 2006-2007 Déclenchés par pression de la main, paume ou doigt, les fonds sont disposés verticalement sur la partie gauche de l’écran. Ce positionnement semble tout à fait convenir à l’organisation de la partition. Ils peuvent être déclenchés par des mouvements amples, mais lents. Leur départ/arrêt demande encore quelques réglages. Lorsque plusieurs fonds tournent en boucle simultanément, il est très malaisé pour l’interprète de savoir avec précision lesquels sont en lecture. Nous avons imaginé avec Maurin rajouter des leds (petites lumières) sur le bord du cadre, lesquelles permettraient de palier à ce problème en s’allumant/éteignant en synchronisme avec le déclenchement des fonds. Les fonds ont la valeur musicale d’accords, simultanéités, et variations multiples contenues dans leur morphologie de trames. Ils permettent à la fois une gestion polyphonique avec les formes et des temps de « pause gestuelle » de la part de l’interprète en laissant se dérouler le continuum sonore qu’ils proposent. Les fonds induisent un temps particulier : celui du déroulement de leur boucle (environ 1 et 2 minutes). Les Formes à hauteur repérable ou à variations de hauteur: Ce type de sons permet de jouer des textures à profil mélodique, voire des mélodies. Le Grainplayer en est l’outil adéquat. Ces objets permettent de construire un discours musical en relation avec le champ des tessitures. Les sons contenant des notes à hauteur fixe peuvent être joués par simple pression pour en jouer individuellement des notes brèves. Ils peuvent également être tenus (pression maintenue sur la toile) pour créer des motifs, tenues de notes, transitions ou pour enrichir une trame. Les Formes bruitées: À l’instar des précédentes, elles permettent de construire un discours musical en relation avec la matière sonore par les mêmes procédés de lecture. Elles ont également fonction de percussions. Elles sont alors jouées à la manière d’un pianiste (rapport très serré avec la toile) ou d’un percussionniste (rapport plus ample). Leur positionnement sur la partition influera sur l’amplitude du geste. Les possibilités de jeu étant relatives au Grainplayer, il semble aller de soi que l’adjonction d’un player simple multipliera les relations entre types de son et fonctions musicales. La possibilité de variation de hauteur de lecture élargira de même les possibilités d’interprétation dans le champ des tessitures. D. Piège à Rêves : Considérations personnelles le projet ENIGMES et « Pièges à Rêves » se révèlent une aventure très riche, motivante et prometteuse. Ce travail de collaboration m’a permis d’avancer dans mon travail personnel. En guise de conclusion de ce rapport, je terminerai par des considérations personnelles du point de vue du compositeur ainsi que de celui de l’interprète. Du point de vue de la composition, la question du temps a présenté l’angle de réflexion principal. Vouée à une partition et un instrument à la fois, la composition se devait dès le départ être ouverte à de multiples interprétations. Le temps, en grand régulateur des évènements, se devait d’être écarté. En premier lieu, en supprimant toute idée d’ordre temporel et donc de parcours à effectuer. En second lieu, en supprimant la notion de durée des objets par leur lecture granulaire. En troisième lieu, en accordant un temps totalement subjectif aux objets musicaux par la création d’un univers sonore cohérent. Les sons qui se sont révélés non cohérents avec l’univers global (au nombre de 3) semblaient en effet ne pas appartenir au même temps (à la même époque) que les autres. Enfin, la forme figures sur fond a permis de proposer également un temps synchrone au temps de lecture des fonds, qui proposent instantanément le temps de leur déroulement, et permettent une « suspension temporelle ». Au terme des trois improvisations, il m’importait d’avoir réponse à une question capitale que je me réservais jusque-là: « S’agissait-il de 3 interprétations différentes de la même composition, ou de 3 improvisation sans autre rapports que le même répertoire d’origine ? » La question fut donc directement posée à 3 personnes ayant assisté aux différentes performances. La réponse fut unanime quant à 3 interprétations de la même composition. Le postulat de départ semble se vérifier. Ces investigations me motivent à poursuivre la recherche en appréhendant cette question du temps d’une manière différente. Non plus en terme d’absence, mais de variations. Je souhaiterais travailler à une nouvelle partition –une fois celle-ci achevée- qui soit rythmique (technoïsante) et contienne des patterns à tempi fixes, et dont le jeu répondrait à une reconnaissance de gestes correspondant à un répertoire établi de comportements. Tracer un cercle sur la toile , par exemple, signifierait changement de pattern, ou de tempo, ralentissement, accélération… L’intérêt d’une telle recherche est augmenté par son caractère pluridisciplinaire, les aspects concernant composition musicale, représentation graphique de la partition et interprétation gestuelle étant étroitement liés et interdépendants. Du point de vue de l’interprète, je ne peux affirmer à ce stade avoir réussi à développer une manière exhaustive de jouer cet instrument. Les différents aspects déclinés ci-avant font du « Piège à Rêves » un objet pour le moment relativement imprévisible. Les améliorations envisagées en feront un instrument plus réactif et plus riche au niveau des possibilités d’interprétation. J’ai abordé cet instrument sous l’angle de l’improvisation et ce en fonction des différents problèmes techniques rencontrés à chaque fois. Les séances de finalisation de l’objet devraient me permettre de fixer certaines gestuelles de manière plus étudiée. « Piège à Rêves » est destiné à tourner sur scène, c’est du moins le souhait que Compte rendu du projet de recherche ENIGMES p.17 2006-2007 nous en exprimons. En tant qu’interprète privilégié de cet instrument, je suis très motivé à intervenir sous forme de performances de 10 à 15mn (30mn avec 2 partitions) afin de promouvoir l’objet. À ce titre, j’exprime le souhait de disposer d’un instrument complet, stable et transportable. Pour conclure ces considérations personnelles, j’ajouterais que c’est une expérience tout à fait inédite pour ma part que de pouvoir ainsi parcourir dans tous les sens une composition que j’ai achevée. Cela me procure le sentiment de voyager à la fois dans le temps et dans l’œuvre. Je retrouve certaines sensations proches de celles du compositeur « essayant », « expérimentant », « improvisant » ses objets sonores avant de les fixer définitivement. La différence (de taille) est que le temps de l’improvisation est soumis au flux temporel en déroulement. La flèche du temps interdisant tout retour en arrière, ces expérimentations ne peuvent bénéficier de l’écoute sélective permise par les actions Stop/Retour/Réécoute qui orientent les choix du compositeur et valident ses décisions. Prochaines dates prévues : Performances les 29 et 30 juin dans le cadre du festival « Emil Treize » (Musiques improvisées) MJC Lillebonne, Nancy (54). Marco Marini (Avril 2007) Ma tâche au sein du groupe consistait à travailler sur la partition navigable et sa mise en forme sur la toile. Le but ce de cette recherche étant de laisser l’usager composer et interpréter de façon intuitive. Nous avons étudié l’ensemble de sons que Marco Marini nous a donnés. Un son a des couleurs, des textures un caractère. Nous avons donc décidé de définir des caractéristiques graphiques pour chaque son afin pouvoir les représenter graphiquement sur la toile. Compte rendu du projet de recherche ENIGMES p.18 2006-2007 À l’écoute successive des sons, nous les avons nommés, puis défini leur allure, leur douceur ou rigidité, leur grain, leurs couleurs…Nous avons donc transformé leur texture sonore et leur dynamique musicale en éléments graphiques. Nous avons procédé de la même façon pour dessiner l’ensemble des sons. Tout d’abord une recherche avec encre de chine sur papier avec différents outils : pinceau, papier froissé, éponges, fil de fer, éléments en métal, bois, plastique… Une fois le dessin fixé, nous avons numérisé les différentes représentations graphiques et nous les avons préparées pour une sérigraphie sur tissus. La disposition des dessins dans l’espace de la toile était inspirée en partie des premières propositions de composition que Marco nous a fait écouter. Le choix du tissu s’est fait en accord avec le souci de transparence pour permettre une visibilité de la musique et du geste des jeu. C’est pourquoi nous avons imprimé sur un tissu translucide qui laisse voir l’autre coté de la toile, comme les pièges à rêves. L’usager peut composer librement, tout en ayant quelques repères dans l’espace de la toile. Maria-Laura Mendez (design graphique) Compte rendu du projet de recherche ENIGMES p.19 2006-2007 2.FEUILLAGE Un projet de Katalina Quijano et Matthieu Savary Musique Eric Broitmann Assistance et encadrement technique : Anne-Catherine Milleron (dev VirChor v.1) Benoit Montigné (dev Flash v.2) Design Interaction et développement Matthieu Savary, Zeev Zohar, Emmanuel Debien Le projet Feuillage s’inscrit d’une façon centrale dans ENIGMES. Il s’agit de travailler sur la partition temporelle d’une musique électroacoustique représentée en 2D. Dans ce travail en effet se posent un nombre sans aucun doute trop important de questions que nous sommes loin d’avoir résolues. Le projet n’a pas aboutit à une version finalisée, sans doute du fait ne n’avoir pas voulu couvrir trop de choses. Néanmoins les nombreuses esquisses et réflexions ont convergées vers une articulation significative des concepts fondamentaux de ce projet. La métaphore de l’arbre Lors de la phase définition de projet Catalina Quijano, graphiste et étudiante du Mastère Multimédia Interactif de l’ENSCI a proposé l’image d’un arbre garni de feuilles considérant chaque feuille comme un événement sonore et chaque branche comme un chemin possible. Compte rendu du projet de recherche ENIGMES p.20 2006-2007 Catalina Quijano a choisi pour commencer quelques formes de base pour les feuilles : rectangles, triangles et disque. Pour chacune de ces forme elle propose également une importante gamme de matières graphiques réalisés à partir de photos et rangées par couleurs. Esquisse en 3D Une première esquisse interactive en 3D a été réalisée par Ane Catherine Milleron dans Virchor, le son étant joué dans Max/MSP sur une deuxième machine reliée via OSC. Mais ce projet s’est révélé trop lourd et a été abandonné. Toutefois la variante de la métaphore de l’arbre développée à cette occasion s‘est révélée intéressante ; il s’agit d’un mobile, à la façon de Calder. Le principal problème rencontré était que le comportement en partie autonome du mobile nous éloignait de la pièce originale pour un processus aléatoire relativement redondant. Le double mouvement de la navigation avec le curseur de la souris et du mouvement autonome du mobile posait également des problèmes : difficulté de repérage précis accentuée par la latence des échanges de donnée et de la fréquence de rafraîchissement de l’image, … Navigation libre – parcours contraint Maquette libre Une maquette interactive en Flash de l’ensemble de la pièce avec un nombre réduit de chemins privilégiés indiqués par une branche, choisis d’un commun accord entre la graphiste et le composteur a été réalisé. La navigation qui se fait à la souris est néanmoins totalement libre. Il suffit de survoler une feuille pour déclencher le son associé. Cette maquette a été réalisée pour le diplôme de Catalina. A l’usage, on constate assez vite une certaine lassitude de devoir suivre le fil conducteur à la souris qu’on finit par agiter à droite à gauche pour voir ce que ça fait, ce qui a pour effet de perdre le fil conducteur musical (attitude constatée chez différents utilisateurs) Maquette contrainte Compte rendu du projet de recherche ENIGMES p.21 2006-2007 Matthieu Savary qui a repris la conception à partir de ce moment du projet(septembre 2006), a donc décidé d’imposer un fil conducteur unique et contraignant et de ne donner qu’une liberté relative au joueur de s’en écarter. Ce choix l’a amené à définir des règles de navigation plus strictes et à reconsidérer les modalités d’usage du dispositif, les aspects graphiques et la plateforme logicielle. Le fil conducteur Le concept de fil conducteur en musique désigne généralement ce qui permet à l’auditeur de se repérer dans le temps d’une œuvre. Il implique généralement une certaine unité de contenu, une évolution ou une articulation perceptible. Dans la métaphore de l’arbre comme dans la métaphore du sillon du projet PHASE8, le fil conducteur est la ligne du temps, représentée visuellement et considérée comme la route canonique de l’interprétation. Dans le cas d’une musique électroacoustique comme ici la pièce d’Eric Broitmann, ce fil conducteur ou chemin correspond à la réalisation plus exacte possible de la composition créée en studio, c’est à dire le positionnement scrupuleux des évènements sonores sur la ligne de temps. On peut essayer de suivre le guide au plus près ou décider de s’en écarter. Plus on s’en écarte donc, plus on s’éloigne de l’œuvre originale. La question principale étant de définir la signification précise de ces éloignements et leur fonctionnement. Il faut entre autres choses définir si il existe des évènements en dehors du chemin à quoi correspondent-ils, pourquoi et comment sont-ils à l’écart du chemin ?… Composition, décomposition et recomposition Eric Broitmann a commencé à composer à partir d’un corpus sonore comportant 3 familles de sons très repérables correspondant aux matières visuelles proposées par Catalina Quijano. Des sons toniques aigus filés, des sons bruités type froissement et des impulsions toniques répétées comme en écho. La composition a été ensuite affinée puis finalisée dans Pro Tools9, comme une pièce électroacoustique de concert. Nous disposions donc d’une version complète de la pièce et de la cession pro tools indiquant la distribution des voix, la position temporelle des évènements sonores, leur durée et leur contenu. Dans une deuxième temps, la décomposition, nous lui avons demandé d’extraire toutes les unités sonores significatives et de nous fournir un tableau Excel contenant la liste des unités sonores avec leur time code. Il a fallu bouncer (réenregistrer) chaque unité avec un volume moyen, une panoramique légèrement recentrée, une attaque repérable, …etc. Dans un troisième temps, la recomposition, nous avons essayé de reconstruire la pièce de façon logicielle afin de reproduire au plus près l’œuvre originale. Bien sûr on ne peut plus l’entendre alors qu’en la jouant dans l’interface de navigation. Il faut reconnaître que pour le moment, noue sommes encore trop loin de l’œuvre originale pour pouvoir crier victoire, ceci étant du essentiellement à la lourdeur du développement logiciel actuelle. La méthode est encore trop frustre, approximative et fastidieuse. Il faudrait pouvoir récupérer directement les régions depuis Pro Tools par exemple via un format d’échange style OMF et rejouer dans une logiciel où le timing des évènements est garanti ce qui est loin d’être le cas dans Macromedia Flash ou l’occurrence d’un événement est totalement dépendant des processus en cours (cf. plateforme logicielle plus bas). Comportements graphiques et sonores des évènements La façon dont chaque événement visuel et sonore se manifeste au cours du jeu est fondamentale pour l’interprétation. C’est ce que nous appelons les comportements ou modalités d’interaction. (cf. chap. V.2. notions d’interactions sonores). Le visuel statique des évènements sert à reconnaître l’événement, à le repérer dans le temps et dans sa proximité avec autres évènements, mais il peut également porter d’autres fonctionnalités comme nous le verrons plus bas (cf. projet d’interprétation collaborative). Comportements visuels L’animation visuelle a pour principale fonction de désigner l’événement joué tant qu’il est joué (par exemple par une sur luminescence ou une animation de l’icône). Mais également, nous avons imaginé d’autres fonctions : des fonctions purement graphiques, des suggestions de liens avec d’autres évènements et ce que nous avons appelé les évènements nichés. Il s’agit de sorte de réservoirs (au sens ou on l’entend dans les partitions instrumentales du XXème siècle), c’est à dire un sous ensemble d’événement qui se déploie lorsqu’un événement niché est activé. Comportements sonores Nous avons réduit les comportements sonores pour les rendre opérants par rapport au mouvement en 2D. Il existe donc principalement (a) un comportement d’attaque, lorsque le curseur approche et déclenche l’événement sonore, (b) un comportement pendant ou dedans tant que le curseur est sur la forme visuelle de l’évènement et (c) un comportement de chûte, fin du son et sortie de l’icône. Pour chaque événement, les paramètre gestuels de début (a) dont nous disposons en entrée du dispositif 8 Projet PHASE Ircam 2004-2005 dans lequel nous avons pu explorer différentes métaphores de navigation dont celle du sillon de vinyle comme un guide ou fil conducteur. 9 Logiciel de composition et post production sonore de la marque Digidesign standard dans le domaine audionumérique Compte rendu du projet de recherche ENIGMES p.22 2006-2007 sont l’instant du contact avec l’objet visuel, la vitesse d’approche à l’instant du contact (vitesse d’impact), l’angle d’attaque par rapport à l’axe visuel du temps (ici le temps est rarement une droite). Les paramètres pendant (b) sont, tant qu’on est dedans, la position à l’intérieur de la forme (coordonnées par rapport à l’axe du temps, coordonnées cartésiennes normalisées dans les limites de l’objet ou coordonnées polaires par rapport au barycentre de l’objet). Les paramètres de fin (c) sont l’instant de la sortie de l’objet, la vitesse et la direction au moment de la sortie. Enfin nous connaissons la l’orientation du barycentre de l’objet par rapport au curseur , nous avons choisi de mapper ce dernier paramètre sur la panoramique et de le contrôler en temps réel pendant toute la durée de l’événement (plus précisément sur une dérive de la balance car nous sommes en stéréo). Nous avons choisi de mapper la vitesse d’impact sur l’intensité d’attaque et la direction sur une modification du timbre (ici un mixage entre trois variantes Left Center Right : filtrage, modulation, bender en fonction des sons). Tant qu’on est dans l’objet on le joue avec ses variantes mixées en temps réel par rapport à l’axe du temps. En quittant l’objet, la vitesse définit la durée de la chute (release). Modalités de navigation Vitesse fixe ou mobile La question de la régularité du mouvement est absolument fondamentale dans les systèmes de navigation sonore, d’autant qu’elle est problématique eu égard au fait que la vitesse du mouvement modifie le tempo et détermine le rythme. Les tempi élastiques sont rarement appréciés car ils donnent le plus souvent l’impression d’hésitations. Il est donc essentiel soit de fixer la vitesse soit de la contrôler très précisément soit de contraindre son contrôle. C’est là une des pierres d’achoppement de ce type de techniques si l’on ne prend pas garde à définir précisément comment le temps doit varier. Nous avons finalement décidé d’avoir une vitesse fixe et de permettre des arrêts. Comme le parcours lui peut varier, tout détour par rapport à la droite de l’interprétation canonique retarde l’événement à venir et donc ralentit instantanément le tempo. Déroger au fil conducteur revient donc à ralentir, à retenir, à retarder. Dès lors, il devient essentiel de régler la vitesse par défaut. Si la vitesse par défaut est supérieure au tempo original, on pourra le retrouver en contrôlant les détours. Plus la vitesse sera rapide plus il faudra faire de contours pour s’approcher de la vitesse originale. Donc pour résumer, la vitesse est fixe par défaut mais tout mouvement la modifie. Aimantation Le fil conducteur peut avoir une simple fonction de repérage et permettre qu’on s’en éloigne librement, mais dans ce cas, on est de nouveau dans une recomposition et non une interprétation. Il peut aussi servir de centre pour la visualisation. Nous avons voulu lui donner une fonction d’aimant, c’est-à-dire que lorsqu’on s’en éloigne et qu’on relache le click ou la pression sur le curseur, on y est doucement ramené. De cette façon, l’interprétation canonique devient une version relâchée avec des nuances très fines et en souplesse alors que toute décision de s’en écarter implique un geste déterminé et plutôt en force. Ce qui a pour effet de privilégier les variations d’ampleur réduite. Une aimantation sur le temps est également possible et intéressante en ce qu’elle permet de facilité des variations temporelles très réduite et de conserver au plus près le tempo original. On imagine une double aimantation sur le fil conducteur : en espace et en temps. Ce denier système aurait l’avantage de donner tout son sens au fil conducteur. On pourrait contrôler avec un seul et même geste le tempo et l’expression. Point de vue du joueur La question de ce que voit le joueur est également très importante. Nous n’avons apporté des réponses que provisoires à ces questions. Nous avons pris le parti d’une vision subjective de la partition, afin d’être plus précis et plus engagé dans le jeu10. Cette vision est comparable à la conduite d’un véhicule sur une route. Métaphore que nous avons également explorer dans PHASE. A titre d’anecdote, Pierre Boulez comparait récemment dans une interview la direction d’orchestre à la conduite d’un véhicule11. Zoom Le joueur voit-il l’ensemble de l’œuvre, l’événement le plus proche, un groupe d’évènements. Autrement dit quel est le niveau de zoom. Est-il fixe ou variable. L’option que nous avons privilégiée est d’avoir un niveau proche normal et de pouvoir à tout moment se reculer pour avoir une vision plus globale de la partition, puis de revenir d’un seul geste à la position proche. Nous n’avons réalisé que le niveau proche. Azimut Le joueur voit-il la partition d’en haut c’est à dire à plat ou la « caméra » est-elle légèrement baisée pour mieux anticiper les évènements à venir et faire disparaître plus vite les évènements passés ? 10 11 Nous utilisons délibérément le terme de jeu à la fois au sens de jeu musical et au sens de jeu vidéo. En anglais diriger un orchestre se dit conducting (dif. driving a car) Compte rendu du projet de recherche ENIGMES p.23 2006-2007 Orientation Dans quel axe regardons nous le fil conducteur ? Est-il toujours droit face à nous, ce qui implique que lorsqu’il tourne, c’est l’ensemble de la scène qui tourne, un peu comme si on retournait une carte routière à chaque fois qu’on prend un virage ou au contraire, est-il préférable de conserver une orientation unique de la partition. Mais dans le deuxième cas, lorsqu’il y a un changement de direction, on a l’impressions que la caméra se déplace en crabe. Un mixte entre les deux existe t’il ? Variabilité des chemins Une des question cruciale est l’aspect de ce fil conducteur et ses fonctionnalités. Après avoir envisagé diverses approches, il a été décidé que l’interprétation canonique (celle du compositeur) serait représentée par un fil conducteur droit. L’interprète peut donc slalomer autour du fil conducteur, broder autour. Nous avons eu l’idée de modifier le fil conducteur, d’une interprétation à l’autre, afin de s’approcher progressivement au plus près d’une interprétation idéale et de donner le maximum de précision à cette interprétation. Nous avons donc décidé de faire évoluer le modèle, c’est ce que nous avons appelé interprétation collaborative ou cumulative. (cf. projet d’interprétation collaborative) Compte rendu du projet de recherche ENIGMES p.24 2006-2007 Situation d’usage Jeu, concert, exposition, Internet Matthieu Savary a choisi de piloter à l’aide d’un joystick de jeu et dans un premier temps de développer l’application dans une perspective de jeu, l’option jeu qui posait des problèmes spécifique au jeu (compétitivité, évaluation, objectifs…etc) n’a pas été poursuivie mais le joystick est resté car il offre une bonne précision de navigation et suffisamment de contrôles. Une autre option était celle du concert qui elle implique une précision musicale et une qualité sonore maximale, nous l’avons poursuivie sans toutefois arriver à une version finalisée. L’option exposition interactive où différents joueurs se succèdent et font évoluer l’interprétation des précédents est une option très intéressante dans la Compte rendu du projet de recherche ENIGMES p.25 2006-2007 perspective d’une interprétation collaborative, mais pose des problèmes d’ergonomie spécifiques (aucune maîtrise préalable, règles implicites obligatoires…) qui risquaient d’alourdir le projet. Enfin l’option Internet nous a parue parfaite pour l’interprétation collaborative car elle permettait, du moins nous le pensions, de faire la synthèse entre la version concert et la version expo tout en permettant un accès facile à l’application. Plateforme de développement La première version de l’application Virchor + Max/MSP sur deux machine en réseau s’étant relevée trop lourde, nous avons essayé d’autres plateformes. Au cours du workshop, Matthieu Savary a développé une maquette fonctionnelle contrôlable par Joystick dans l’environnement logiciel « processing », le son était produit par Max/MSP sur la même machine ou sur une autre communiquant via OSC ou MIDI. Mattieu a également développé dans le même environnement un éditeur permettant de positionner au joystick les évènements et de construire le chemin (ou fil conducteur). Zeev Zohar a lui développé un ensemble de comportements visuels et sonore dans Macromedia Flash. Par la suite et dans la perspective d’une version Internet, nous avons opté pour ce dernier environnement et avons demandé une aide à un développeur professionnel Benoit Montigné. Un cahier des charge du développemnet a été rédigé (voir annexe). Malheureusement le développement dans Flash s’est révélé beaucoup trop ambitieux et malgré le temps et l’infinie bonne volonté de Benoit Montigné, le développement n’a pas pu être finalisé. Nous avons également rencontré deux problèmes avec Flash : impossibilité de raccorder le joystick et de récupérer ses données en temps réel sans trop de latence, ainsi que d’énormes problèmes de timing dépendant des machines et des ressources processeur. Ce choix s’est donc révélé discutable car entre autres problèmes il excluait la version concertante. Projet d’interprétation collaborative Principe de l’interprétation collaborative En musique instrumentale, une tradition orale d’interprétation des œuvres est venue se greffer sur la tradition écrite de la partition. D’une interprétation à l’autre, le modèle évolue, à tel point que pour la musique baroque et classique, de nombreuses manières de faire non écrites furent incorporées aux partitions à partir du 19ème siècle. Les mêmes œuvres ne sont plus jouées aujourd’hui comme elles l’étaient in y a 50 ans, le disque est passé par là et les auditeurs ont leurs préférences d’interprétations. Sur un siècle d’enregistrements de certains morceaux connus, on constate, d’importantes évolutions dans l’interprétation. S’agit-il de modes ou de progrès ? c’est une autre question. En Jazz, les mêmes standards, ne sont plus du tout joués de la même manière par Duke Ellington, John Coltrane et Chick Corea. C’est évolution se déroulentnéanoins sur des temps relativement longs. Le cycle d’évolution étant souvent assez long: entendre une nouvelle interprétation, s’en inspirer pour en créer une nouvelle, la diffuser et qu’un autre muscien l’entende à son tour. C’est bien entendu le temps nécessaire pour le mûrissement de l’invention, mais c’est également un cycle technique long et lourd. On peut faire évoluer une interprétation beaucoup plus vite. Cela ne garantie pas sa qualité mais mérite au moins d’être tenté. C’est ce que nous avons essayé de faire. Le principe est le suivant : à chaque nouvelle interprétation, le fil conducteur est construit à partir des interprétations précédentes. On enregistre le nouveau parcours de l’interprète et on confronte son interprétation aux précédentes. Système statistique Zeev Zohar qui a imaginé ce système, à décidé de s’appuyer sur une analyse statistique des parcours enregistrés et de proposer au nouvel interprète/joueur de modifier l’aspect de l’interface en fonction de ses préférences. L’application enregistre donc le parcours de tous les joueurs et les compare. Il extrait la dérive du chemin par rapport au modèle canonique et l’analyse de façon à en déduire un ensemble de critères prédéfinis. Compte rendu du projet de recherche ENIGMES p.26 2006-2007 Composition préalable de la partition navigable Compte rendu du projet de recherche ENIGMES p.27 2006-2007 Choix du joueur Ces critères sont accessibles via un tableau statistique visible lors de l‘interprétation au niveau de chaque événement. Ils sont affichés en pourcentage : - Popularité - Vitesse - Ecart par rapport au parcours canonique - Compétence … Compte rendu du projet de recherche ENIGMES p.28 2006-2007 Conclusion Le projet Feuillage reste un chantier, mais un chantier très riche et plein de promesses. Un grand nombre de question ont été posées, tester avec ambition et sérieux, mais n’ont pas été résolues, 3 esquisses fonctionnelles, mais aucune réalisation n’a aboutie au niveau nécessaire pour vraiment jouer la pièce avec une précision et un potentiel expressif suffisant et c’est regrettable. Nous espérons toutefois que de nouvelles suites verront le jour, car c’est l’ouvrage qui nous parait être le plus proche de notre préoccupation de départ : la partition navigable. Ces travaux confirment l’intérêt et le potentiel de la démarche tout en en soulevant des difficultés propres qu’il faudra maintenant surmonter pour avancer. Ces difficultés sont principalement techniques, mais des questions plus profondes restent encore à venir. Compte rendu du projet de recherche ENIGMES p.29 2006-2007 3.Projet « LES ILES » Coordonné par Marine Rouit Conception et réalisation (design) : Yuliya Samul et Marine rouit Musiciens : Zheni Meria, Claire Moulin, Benjamin Chardinal Encadrement technique 3D : Virginie Sebbag, Simon Introduction Du point de vue de l’auditeur, Le son est un objet qui ne se laisse ni voir, ni toucher. En musique électroacoustique, nous sommes dans l’écoute, dans une position d’attente aveugle, Comment engendrer une curiosité face à l’objet musical ? Comment arrêter, interpeller l’auditeur, comment inviter à l’écoute ? Comment donner un moyen d’explorer la musique, comment exposer celle-ci ? Du point de vue de l’interprète, Comment utiliser le son dans un objet de manière active (interactive) ? Donner à la musique une représentation physique. « Matérialiser » le son pour donner des possibilités d’action sur le son ou la musique. le rendre jouable, En fait il s’agit de rendre le son « utilisable ». Comment toucher le son ? Ces représentations s’apparenteront à des paysages, des surfaces topographiques que l’utilisateur (musicien ou non)sera invité à explorer. Le relief comme un moyen de représenter physiquement le son. Une surface non-lisse (par opposition aux ecrans,aux objets numériques..) , composée d'aspérités et d'accidents qui permettrait de contrôler et jouer le son. Créer un rendu haptique, créer une surface qui viendrait guider le geste. Principe général Question posée : comment rendre sensible le jeu du son numérique ? Partition navigable cela signifie par exemple qu’on a la possibilité d’aller et venir dans l’écoute d’un morceau . On dispose de points de repère musicaux. On peut aller à l’endroit, à l’envers. Ecouter la fin, puis le début. On peut fragmenter l’écoute. On peut désynchroniser les voix. On peu modifier la musique en jouant, créer des variantes. On choisit une interface physique fondée sur la métaphore du dessin de la musique. L’interface est un objet, la musique est placée dans l’objet. Cela permet de renforcer la relation tactile, sensorielle à la musique, de « retactiliser » l’expression sonore d’une musique dématérialisée. Créer un langage volumique. Le relief comme langage ou comme métaphore ? Créer des représentations visuelles et tactiles. Espaces de jeu qui guident le geste par la matière et le ressenti. Relations Geste- matière/surface- son (Geste-son - Surface son - Geste-surface) Mise en espace de la musique. Mise en relief (volume) de la musique. A qui s’adresse t’on ? À des musiciens pour l’improvisation en temps réel dans un concert. Ces interfaces vont être utilisées par des musiciens pour improviser en temps réel lors d'un concert. Jouer en spectacle. Performance live (en temps réel). A des enfants dans le cadre d’actions pédagogiques musicales et ou d’apprentissages gestuels dans lesquels le son peut jouer un rôle significatif. Technologie : La palette graphique « préparée ». Nous constatons qu’il est possible d’ajouter une épaisseur d’environ 15mm sur la tablette graphique dont nous disposons. (Wacom Intuos 2 modèle GD-1212-U 300x300mm). Nous détournons cette interface, en modifiant sa surface par l’ajout de reliefs12. 12 Nous avions déjà expérimenté ces principes sans les approfondir dans le cadre du projet PHASE à l’Ircam en 2004. Le projet Enigmes et Les îles nous ont permis d’approfondir cette idée. La palette graphique est utilisée à travers la librairie d’abstraction Max/MSP « Enigme Lib » développée pour le projet.(Cf.Chap. V.1) Ces surfaces en relief constituent un paysage de jeu musical (les Iles). Elles fonctionnent comme un guide haptique13 passif. Photo de la palette graphique démontée Le programme EnigmeLib, permet : De repérer (détecter) la position et la forme de graphismes préalablement tracés (ou placés) sur la palette graphique.* De « mapper » c’est-à-dire d’associer des sons (nous utiliserons des « samples ») à ces formes. D’utiliser les paramètres gestuels liés à l’utilisation du stylet (pression, inclinaison, vitesse du geste, répétition), pour les associer à des paramètres sonores (volume, hauteur, bouclage) De jouer les sons avec différents type de générateurs * 3 types de formes sont identifiables : - Des « anneaux », (ou disques ) Une fois l’anneau répéré on sait si on est dedans ou dehors, mais aussi on repère à tout moment la distance par rapport au centre. On peut aussi, si on fait le tour du cercle avec le stylet, connaître l’angle en degré par rapport à l’origine et compter le nombre de tour effectués - Des « rectangles » Une fois le rectangle positionné on sait donc si on est dedans/dehors.On connaît à tout moment la position x,y dans le rectangle - Des « courbes » (on trace une courbe avec le stylet en même temps que l’on écoute une musique, cela va mémoriser la position des points de cette courbe associés au temps de la musique). Une fois tracée la courbe on sait si on est dessus ou non, mais on identifie aussi à quelle distance on se trouve de la courbe. (cf description complète du logiciel chap.V-1.) 13 Haptique : produisant un retour d’effort, c’est à dire opposant une force en retour d’un geste produit. Compte rendu du projet de recherche ENIGMES p.31 2006-2007 Définition du projet Premières expériences au cours du workshop (sept 06) Le premier principe formel sur lequel nous travaillons est celui de l’anneau. Nous réalisons une maquette comprenant deux cercles creusés dans une plaque de médium. Nous avons fraisé un grand cercle et un plus petit, tangent au premier. Ce dessin nous permet de créer une circulation continue entre les deux cercles. On fixe la plaque sur la palette graphique. On repère les anneaux en situant le centre et en indiquant deux rayons, intérieur-extérieur. On mappe ensuite des sons sur les anneaux. De manière à ce que quand on parcourt le cercle (quand on suit le sillon dans le sens des aiguilles d'une montre) la musique soit jouée. Plus on va vite, plus la musique est jouée vite. D’autre part, la pression est récupérée pour modifier le volume (plus on appuie plus le son joue fort) et l’inclinaison modifie la hauteur du son. Les sons utilisés sont réalisés par Zheni Meria. Bilan de l’expérience14 - Intérêt de la navigation dans la surface en relief , guider et répéter le geste. - Bonne réactivité de l’interface - Possibilités de jeux très riches - Importance du relief pour la précision du geste - Qualification de la forme par rapport au sons et aux modes de jeux : il faut composer le son pour la forme et inversement. Le stylet est une tête de lecture manipulable en temps réel Cette expérience nous permet de valider le principe de la surface en relief. Le relief permet de suivre une forme précise et de répéter son geste. (Guider et répéter le geste. ) Le relief constitue à la fois un repère visuel et un repère haptique par la sensation perçue au bout du stylet (et non tactile car on ne perçoit pas le relief avec les doigts) Le stylet constitue un outil précis, il permet un geste rapide et mobile dynamique. Sensation au bout du stylo. Les paramètres peuvent être modifiés de manière subtile et nuancée. Au niveau de l’interaction : étant donné l’échelle relativement petite à laquelle s’effectue le geste, la superposition des paramètres sonores (hauteur, volume) fait que l’on arrive vite à une perte de repères dans l’interaction. C’est-à-dire qu’on n’identifie plus quelle action, modifie quoi. Il est donc essentiel de faudra probablement veiller à limiter le nombre de paramètres sur lesquels on agit afin de garder lisible la relation entre le geste effectué et le son produit (et surtout afin de grader le contrôle sur le son joué). Cela revient à va nous obliger à définir des paramètres de jeu propres à chaque type de reliefs et chaque ensemble de son. Composition des jeux Ce travail de composition des ensembles de jeu est très important. C’est un travail de création musical comparable à l’écriture d’une partition et à la création d’un instrument ou à son réglage. Ici une dimension supplémentaire vient néanmoins s’ajouter : la topophonie15 active liée aux gestes de l’interprète. Il ne suffit pas de choisir des sons ou une surface en relief, il faut régler chaque paramètre sonore afin de disposer d’un instrument complet. On s’approche également de la définition que donne 14 15 Les tests ont été réalisés par les membres du projet ainsi que des élèves de l’école invités à tester et commenter. Nous utilisons ce terme pour désigner une géographie sonore active. Compte rendu du projet de recherche ENIGMES p.32 2006-2007 Pierre Schaeffer de la notion d’instrument appliqué à la musique électroacoustique. (Cf Annexe 3. Qu’est-ce qu’un instrument électroacoustique) Définition de 2 pistes de projets : 2 scénarios d’usage I- Une table d’improvisation (instrument de musique) II- Un cahier d’écriture (cahier d’exercice pour apprendre à écrire) Une Table d’improvisation Contexte et Enjeux l’improvisation musicale Improvisation : Jouer sans partition écrite et sans modèle mémorisé. On parle d’improvisation libre ou contrainte, de part d’improvisation…etc. Certaines formes d’improvisations sont canoniques (be-bop, raga, sarabande,…) En musique électroacoustique, on pratique généralement l’improvisation générative16, c’est-à-dire, une improvisation où l’on compose la musique dans le temps où on la joue. De nombreuses approches sont possibles, elles articulent généralement la part déterminée et la part indéterminée. Par exemple la définition des grandes formes et la liberté dans sa conduite, des modes de jeux prédéfinis mais non formés, des variations thématiques…etc Ici, la surface de jeu et l’ensemble de jeu (topographie et topophonie) sont déterminé, d’autres prédéterminants peuvent être également définis par l’interprète : un parcours, une évolution, un type de geste…etc le reste étant décidé au cours de la performance. Pour qu’une improvisation soit réussie, il faut que la construction soit singulière et le jeu élaboré voire vitrtuose. (jouer vite ce que l'on a en tête, pas de tâtonnement possible) Objectif Ce sont des "partitions - instruments", des surfaces qui sont à la fois des représentations de certains éléments de la conduite du son, et des interfaces de jeu. Chaque instrument a ses propres modalités de jeu Elles doivent procurer une grande subtilité d'interprétation, un plaisir sensoriel pour le musicien (proche de l'instrument) en même temps qu'une simplicité d'utilisation. Instrument est composable à partir des sons propres au musicien et d’une bibliothèques de formes plastiques prédéfinies. Recherches Recherches libres sur les reliefs ( Reliefs en terre et en pâte fimo ) En parallèle de la définition des scénarios. On fabrique d’abord des reliefs en terre qui nous permettrons de comprendre le lien entre le geste et le relief. On peut tester le rendu haptique sur ces reliefs (mais on ne peut pas encore se rendre compte du rendu sonore). Ces premières expériences nous permettrons de préciser plus tard les scénarios d’utilisation et d’affiner notre choix lors de la sélection des plaques finales. 16 Terme utilisé en particulier par Alain Savouret .Il a créé la classe d’improvisation générative au Conservatoire National Supérieur de Musique de Paris en 1992. Compte rendu du projet de recherche ENIGMES p.33 2006-2007 Compte rendu du projet de recherche ENIGMES p.34 2006-2007 Tests sur maquette en terre On reproduit ensuite en pâte fimo les reliefs qui nous semblent intéressants. La pâte fimo, matière plastique modelable durcissante, est utilisée pour des premiers tests sonores. surface bosselée) Premières experiences sonores (exemple d’une Sur la plaque « bosses » en pâte fimo on teste différents types de sons, sans organisation particulière. L’organisation aléatoire des sons et du relief génère un désir de découverte des sons, l’impression de naviguer dans un espace ou on découvre différentes sonorités. L’aspect texturé de la matière donne envie de la « toucher ». On a le sentiment que le relief influence la manière d’entendre le son et de jouer le son. On teste différents reliefs avec le même son. Le relief semble modifier la manière de jouer le son. On se rend compte également que deux aspect du reliefs interviennent : sa texture et sa forme. La forme (bosse, sillon, creux) est ce qui constitue un guide et une organisation, quand la texture semble apporter une dimension haptique qui semble parfois s’accorder avec le son. Il serait intéressant d’étudier la combinaison des paramètres (volume/texture). Après cette expérience nous commençons à faire une classification des reliefs selon un répertoire de formes : bosses, creux, sillons, arrêtes…etc. Ces formes induisent des modes d’utilisation différents, créent repères visuels liés au son. Ces repères sont dépendant du motif sonore choisit et du player, car l’ensemble induit un geste particulier avec des possibilités de nuances plus ou moins précises selon les formes, des niveaux de détail différents, des possibilités d’accentuations privilégiées…etc Vers le développement de scénarios d’usage précis. Explication de la démarche de conception des surfaces On élabore des « cartes » (dessins, schémas) qui sont reconnaissables par le programme Enigme Lib et qui vont servir de base graphique à la fabrication des reliefs. Par exemple : Compte rendu du projet de recherche ENIGMES p.35 2006-2007 A partir de l’objet « anneau » (qui permet de reconnaître et de positionner des anneaux, disques, cercles sur la palette graphique) on décline différentes cartes . exemples de « cartes » 1 2 3 4 À partir de ces cartes, on imagine des Scénarios d’utilisation. Par exemple, à partir de la carte des cercles concentriques (dessin3) on choisit les paramètres de navigation (métaphores d’interaction) suivants : Un son différent est attribué à chaque anneau, le son est joué quand je suis sur l’anneau et si je trace le cercle dans le sens des aiguilles d’une montre, je parcours le son. (Paramètres de mapping) Plus j’appuie, plus le volume augmente. (Paramètres gestuels) Chaque carte peut avoir plusieurs scénarios d’utilisation (C’est-à-dire différents modes de paramétrage) . C’est une des raisons qui nous ont poussées à sélectionner puis à réaliser un ensemble de formes simples ; archétypales résumant les différentes métaphores imaginées. - Les cercles concentriques - Les anneaux qui se rejoignent - Le sillon arborescent - Les bosses - Les cratères - Les sillons fermés courbes croisés -… Après avoir sélectionné un scénario que l’on souhaite développer on commence alors la réalisation de la plaque en relief. Pour concevoir le relief on se réfère aux essais en terre. Puis on réalise le relief de la manière suivante. (voir photos plus loin) a) Dessin en plan à l’échelle . (taille de la plaque , taille des sillons en fonction de la pointe du stylet , nombre de sillon ) b) Modélisation 3D du relief dans le logiciel 3DS max (on choisit la profondeur, la forme du sillon ) 3) Fraisage avec la fraiseuse numérique et le logiciel Datron. 4) Réalisation d’un moule en silicone de la plaque ainsi obtenue 5) Tirage en résine polyuréthane teintée (noir/ blanc Modélisation 3D et le fraisage numérique Le passage par la modélisation 3D et le fraisage numérique nous a semblé nécessaire pour obtenir une géométrie précise et une finition de qualité. Le moule en silicone permettra plus tard de réaliser des tirages des plaques. 1. Maquette graphique 2D à l’échelle Compte rendu du projet de recherche ENIGMES p.36 2006-2007 2. Modélisation 3D (maillage) 3. Modélisation 3d texturée 4. Fraisage numérique dans un matériau type « lab » a grain fin 5. Moule silicone et tirage en résine noire Compte rendu du projet de recherche ENIGMES p.37 2006-2007 6. Plaque terminée Réalisation des patchs Max/MSP Une fois les plaques réalisées il faut fabriquer les patchs17* ou ensembles de jeux correspondant à chaque plaque (toujours avec EnigmeLib dans max). Il faut positionner les formes graphiques (anneaux, rectangles, courbes) à l’aide du stylet, puis paramétrer ceux-ci comme indiqué dans le scénario d’utilisation. Finalisation La finalisation est l’étape qui permet au dispositif expérimental, de prendre une forme utilisable lors d’un concert en situation d’improvisation. « Un instrument pour l'improvisation musicale » Cet instrument est composé d'une collection d'interfaces - paysages en relief que l'on parcoure à l'aide d'un stylet pour jouer le son. Le relief sert de repère musical et d'espace de jeu, et permet de guider, de répéter le geste. Chaque surface a ses propres règles de jeu. L'inclinaison, la pression du stylet mais aussi la rapidité du geste, modulent le son, générant une interprétation subtile un plaisir sensoriel pour le musicien. » 17 Les patchs sont les fichiers dans lesquels on mémorise la géographie de chaque plaque, les paramètres de jeu, mais aussi les sons. Pour chaque plaque on peut créer plusieurs patchs pour chacune des compositions musicales ou sonores. Compte rendu du projet de recherche ENIGMES p.38 2006-2007 L’objet final Une « table d’impro » La table d’improvisation est constituée d’une base connectée à l’ordinateur par un câble usb (qui contient le système électronique de la palette graphique wacom), d’une collection de plaques en résine polyuréthane de 10cm x 10 cm et d’un stylet/baguette. Compte rendu du projet de recherche ENIGMES p.39 2006-2007 On place le relief dans le renfoncement au centre de la base. L’utilisation se passe en deux temps . - Un temps pour la composition où le musicien choisit les sons parmi ses propres fichiers audio et affine le paramétrage des patchs. - Un temps pour l’interprétation ou l’improvisation. On lance les patch préparés, l’ensemble est immédiatement opérationnel (formes, sons, générateurs) et on en joue en parcourant la surface des plaques avec le stylet. Quelques précisions sur les finitions. Le stylet s’allonge et prend la formes d’une « baguette » de chef d’orchestre afin d’amplifier le geste lors du concert La base est un boîtier plastique surmonté d’un cadre qui maintient les plaques en place. Ce cadre est réversible : d’un coté il est recouvert de cuir pour les moments de composition, pour le travail en studio, de l’autre il est noir laqué pour le concert. Pour le moment la base mesure 40 X 40 cm Les plaques Modules de 10 x 10 cm . Le format des plaques est volontairement petit pour être transportable et manipulable. (On pourrait cependant imaginer des plaques plus grandes et plus complexes) Pour le moment 7 plaques différentes existent. photos - Concentrique - Rivière - Lune - Coussin - Coquillage - Rayures - Bosses Compte rendu du projet de recherche ENIGMES p.40 2006-2007 Jeu de plaques Objet complet Compte rendu du projet de recherche ENIGMES p.41 2006-2007 Compte rendu du projet de recherche ENIGMES p.42 2006-2007 Une définition de produit comprenant à la fois l’objet et une version très simplifiée du logiciel : Disparition de l’ordinateur Programmation directe intuitive Un ensemble de débouchés possibles : Instrument pour le concert Instruments de pratique musicale à l’école Outil d’aide à la création de formes sonores dynamiques pour le design sonore Interface de contrôle pour d’autres applications… … Bilan Un outil qui ne nécessite pas de virtuosité instrumentale, il est donc accessible à tous, mais l’usage s’améliore avec la pratique et la maîtrise expressive instrumentale en général. Objet dédié ou système générique ? Le parti pris du système (design) est actuellement de le laisser ouvert et appropriable. Perspectives pour des : Interfaces « non standards » Un système qui permet de créer des objets non pas« personnalisables » mais des formes « fonctionnalisables ». Une version simplifiée du programme informatique est à l’étude. La librairie Enigme-Lib serait dans un premier temps remplacée par une application unique d’utilisation simple. Vers des meta-interfaces Nous envisageons dans un deuxième temps que les propriétés, modes de jeu, développées pour ces instruments soient détournés pour des applications différentes mettant en jeu l'image, ou le son. Ainsi nous envisageons cette recherche comme une recherche sur des "meta - interfaces physiques". Compte rendu du projet de recherche ENIGMES p.43 2006-2007 Un cahier d’écriture Un guide en creux représentant les différentes étapes d’apprentissages de l’écriture manuelle, permet d’assister l’enfant dans son expérience. Une modulation sonore en temps réel lui permet d’évaluer à l’oreille la dynamique de son mouvement. Contexte et enjeux L’apprentissage de l’écriture (exemples de méthodes, Stéphanie, rencontre avec des instituteurs/trices ) Quel rôle peut jouer le son dans l’apprentissage de l’écriture ? L'apprentissage de l'écriture comporte deux objectifs -apprendre par coeur la forme des lettres et leur sons correspondants -développer la motricité nécessaire au tracé des lettres. Ces deux apprentissage se font séparément : - à travers des exercices qui peuvent développer les capacités gestuelles ( l'enfant dès la maternelle fait des exercices de "graphisme" ou il apprend à tracer des traits, des boucles, des ronds), - par des exercices où il apprend à reconnaître la forme des lettres à les différencier les unes des autres (la maîtresse en général montre la lettre à l'enfant et émet le son phonétique de la lettre puis l'utilise dans un mot) Pédagogie : Freinet : mettre l’enfant en situation de faire. Apprendre à écrire c’est un peu comme apprendre à jouer un instrument, et lire c’est un peut comme apprendre à lire le solfège… Problèmes rencontrés lors de l’apprentissage de l’écriture et de la lecture geste, motricité (affiner le geste) - tenir le stylo - tenir la ligne (écrire droit) - apprendre à tracer les formes (lignes droites verticales et horizontales et diagonales, cercles, boucles, ponts…) apprendre des formes et les sons correspondants. les lettres, les syllabes, les phonèmes (syllabes complexes) lire les mots, les phrases, un texte (se dégager de l’effort de la lecture pour en comprendre le sens) écrire des mots, des phrases de plus en plus vite améliorer la graphie On écoute avant de parler On parle avant d'écrire On lit avant d'écrire (M. Montessori pense le contraire) On écrit avant de rédiger (cela dépend des méthodes) On lit plus vite qu'on écoute On parle plus vite qu'on écrit Daniele Dumont Methode Montessori (lettres rugueuses) Recherches Au depart on se concentre sur le geste d’écriture. Le son pourrait-il nous permettre de mémoriser le geste et de l’affiner ? Premières expériences sur le geste d’écriture, comment relier le son et l’alphabet ? Découpage de l’alphabet en motifs (cf méthode Danièle Dumont) : les 4 formes de base qui vont constituer la bibliothèque sonore Compte rendu du projet de recherche ENIGMES p.44 2006-2007 Elaboration d’une plaque composée d’une succession d’exercices ( la plaque d’exercices ) où le guidage par le relief est de moins en moins présent. Bilan Fonctionnement intéressant qui peut potentiellement accélérer considérablement l’apprentissage de l’écriture. On rencontre une difficultés techniques aux croisements des lignes ou le stylet peut bloquer. Il faudrait creuser la question. L’aspect ludique dans le son peut rendre l’apprentissage moins fastidieux. L’utilisation d’échantillons sonores n’est pas satisfaisant. Il faut construire un générateur sonore par synthèse. Un design sonore véritablement approfondi est indispensable. Séquencer l’apprentissage (de l’écriture à la lecture) ne pas dissocier la lecture de l’écriture. La question du partage. Rendre le projet partageable. Meta design. Design « Open source ». Compte rendu du projet de recherche ENIGMES p.45 2006-2007 4.PLUMAGES Un projet de Yoan Ollivier, Benjamin Wulf et Sveltana Bogomolova Chercheuers associés : Christian Jacquemin et Diemo Schwarz Développement et soutien technique : Rami Ajaj Naviguer dans une collection d’échantillons sonores Ces dernières années se sont développées à la suite des outils de traitements de la musique électroacoustique, un certain nombre de méthode pour jouer et parcourir, modifier, naviguer dans des séquences sonores. Il en existe d’assez simple comme le déplacement granulaire dans le temps d’un morceau et d’autres plus complexes qui font appel à un tri préalable des composants du morceau. CatArt fait partie de ces derniers. Principes de CatART CatArt a été développé à l’Ircam par Diemo Schwarz. Il s’agit un outil logiciel permettant de découper un fichier audio en un ensemble de tout petits fragments de sons (grains). Une fois cette opération réalisée, ces grains sont classés selon un choix de différents descripteurs sonores18. Une fenêtre graphique 2d permet de disposer les grains selon 3 descripteurs : en x, en y et en couleur. Ainsi l’on peut en déplaçant le curseur de la souris dans cette fenêtre contrôler l’ordre d’apparition des grains de son. Description du projet Plumage Le projet Plumage part du constat que la navigation 2d et que l’interface çi dessus limite considérablement les possibilités de jeu. L’idée de décomposer un morceau en particules élémentaires implique que la dynamique de la navigation devienne une forme de recomposition dont les modalités sont à définir. Les grains de sons représentés comme des points fait l’impasse sur leur matérialité. Le nombre de dimensions accessibles pour le contrôle et la navigation sont insuffisants en 2d pour qualifier des régions et des dynamique de jeux prégnantes. Nous avons donc décidé de travailler en 3d temps réel et de construire un univers dans lequel les grains sont dispersés. La métaphore choisie par Yoan Ollivier est celle des plumes qui volent, mais également des plumes qui une fois reliées entre elles forment un plumage. Chaque grain de son est représenté par une plume symbolisée par un polygone que nous avons appelé une plumes. 18 Un descripteur sonore est un critère auditif qu’un algorithme d’analyse numérique permet de mesurer. Plumage: Design d’une interface 3D pour le parcours d’échantillons sonores granularisés Article rédigé pour IHM 2007 décrivant le projet Christian Jacquemin et Rami Ajaj Roland Cahen et Yoan Ollivier Diemo Schwarz LIMSI & Univ. Paris 11 ENSCI IRCAM 91403 Orsay, France 75011 Paris, France 75004 Paris, France Plumage est une interface pour le contrôle interactif de la composition et du jeu de scènes graphiques et audio spatialisées. L’interface repose sur un environnement graphique 3D composé de têtes de lecture animées parcourant un espace sonore matérialisé par des plumes associées à des grains sonores (des micro-échantillons). La disposition spatiale des plumes repose sur des paramètres sonores des échantillons qu’elles représentent. Le jeu musical est une lecture interactive et continue de cet espace sonore contrôlée par manipulation directe des paramètres des trajectoires des têtes de lecture. Multimodalité, Composition audio-visuelle, Interfaces 3D. Plumage is an interface for interactive 3D audio/graphic scene browsing and design. The interface relies on the notion of tape heads in a sonic and graphic 3D space made of feathers associated with sound micro-samples. The spatial layout of the feathers is defined by sound parameters of the associated samples. The musical play is the outcome of a continuous and interactive navigation in the sound space controlled by direct manipulation of tape head trajectories. H5.m. Information interfaces and presentation (e.g., HCI): Miscellaneous. Documentation, Instructions Multimodality, Audio-visual composition, 3D GUIs. 1 INTRODUCTION Le rendu audio-visuel spatialisé est au cœur des problématiques de la réalité virtuelle et augmentée lorsque l’on souhaite ne pas se limiter à une seule modalité (la vue). Afin d’offrir un rendu cohérent, le positionnement spatial des sources sonores et celui des objets géométriques doivent être définis dans un même référentiel et une même temporalité. Des formalismes tels que MPEG-4 BIFS [1] ou X3D19 peuvent recevoir ce type de description multimédia. Ces formalismes et les applications qui proposent des compositions audio-visuelles spatialisées reposent sur une description de sources ponctuelles et leur positionnement dans l’espace. A contrario, les techniques de rendus d’image pour une approche continue des propriétés graphiques de l’espace (comme la fumée ou le brouillard) utilisent une représentation spatiale discrétisée des propriétés lumineuse du média [3]. Notre travail offre une première convergence entre une représentation spatiale continue du son et des propriétés lumineuses. Il décrit un nouveau type d’interface audio-graphique spatialisé dans laquelle le son est représenté par une distribution spatiale de grains sonores et le rendu sonore se fait par parcours de lecture géométrique de ces grains et rendu audio lissé (figure 1). Ce travail ouvre de nouvelles perspectives sur le rendu audio-graphique spatial non restreint à des sources ponctuelles. L’interaction est au cœur de cette interface intitulée Plumage et composée de petits éléments visuels placés dans l’espace géométrique en fonction de paramètres de l’espace sonore qu’ils représentent. La navigation interactive vise à s’en approcher pour les écouter et se construire un parcours perceptuel. Plumage résulte de la coopération interdisciplinaire entre designers et chercheurs dans le cadre du projet Énigmes20 piloté par Roland Cahen (ENSCI) et portant sur les partitions navigables. Il reprend des hypothèses et des recherches conduites dans le cadre du projet collaboratif Phase [4] sur l’utilisation d’un environnement virtuel 3D et d’un bras à retour d’effort pour parcourir un espace sonore interactif. Par partitions navigables, l’on entend ici des formes de notation ou de représentation musicale actives, avec lesquelles on peut directement jouer la musique. L’outil numérique permet de ne pas dissocier la partition de l’instrument et propose, par la notion de navigation sonore, de nouvelles approches de la composition/interprétation de la musique et du son. 19 http://www.web3d.org/ http://projetenigmes.free.fr/ 20 Compte rendu du projet de recherche ENIGMES p.47 2006-2007 Figure 1: Design graphique de Plumage. 2 ARCHITECTURE L’architecture générale de Plumage est décrite dans la figure 2. Elle est organisée autour de deux applications complémentaires. CATART [7] est un logiciel de synthèse sonore concaténative qui s’appuie sur des grains sonores (des micro-échantillons) garnis de méta-données issus soit de l’analyse des sons, soit de descripteurs de haut niveau. Lorsque l’on enchaîne la lecture de ces échantillons, une sortie sonore continue est produite en temps réel par synthèse granulaire. Figure 2: Architecture de Plumage. 21 Virtual Choreographer (VIRCHOR) est un moteur de rendu 3D temps réel interactif. Deux fonctionnalités de VIRC HOR sont exploitées dans le cadre de Plumage. D’une part, des capteurs sont placés dans la scène afin de déclencher des émissions de messages vers les objets qu’ils intersectent. D’autre part, des micros sont positionnés afin de reporter vers un spatialiseur sonore en sortie de CA T ART. les coordonnées sphériques des sources sonores actives dans le référentiel des micros. 21 http://virchor.sf.net Compte rendu du projet de recherche ENIGMES p.48 2006-2007 3 INTERFACE DE RENDU AUDIO-VISUEL INTERACTIF Plumage est une application de rendus graphique et audio cohérents, temps réel et interactifs. L’espace sonore est constitué de grains sonores avec leurs descripteurs. L’espace graphique se compose d’un ensemble de plumes, chaque plume est associée à un grain sonore. Son positionnement spatial et sa représentation graphique sont fonction des méta-données associées aux échantillons sonores (voir figure 3). Au sein de la distribution spatiale des plumes se déplacent trois têtes de lecture sur des trajectoires elliptiques. Ces têtes sont composées d’un micro accompagné de trois capteurs qui tournent autour des micros comme des satellites autour d’une planète. Figure 3: Vue d’ensemble de l’interface. Les têtes de lecture parcourent à vitesse contrôlable leurs trajectoires et les capteurs qu’elles entraînent déclenchent la lecture des échantillons sonores associés aux plumes qu’ils traversent. Les micros actifs sont utilisés pour reporter à CATART les identifiants des sources sonores et leurs positions relatives. À partir des informations sur les sources qui sont actives ou non, CATA RT produit une sortie sonore continue par synthèse granulaire en combinant les informations audio des échantillons associés aux sources actives. À partir des informations sur la position relative des sources par rapport au(x) micro(s) allumé(s), le spatialiseur produit une sortie audio cohérente avec le déplacement des têtes dans la scène graphique. 3.0.1 Éléments géométriques L’interface est constituée d’un graphe de scène dont les nœuds intermédiaires sont des transformations — des transformations fixes pour les feuilles et des transformations animées le long de chemins elliptiques pour les têtes de lecture — et dont les feuilles sont des objets géométriques (maillages ou primitives) ou des objets invisibles (micros, caméras, lumières...). Un schéma simplifié du graphe de scène de Plumage est présenté à la figure 4, les feuilles y sont des boîtes à bords arrondis. Le fait que les satellites et les capteurs associés soient situés sous la transformation de la tête de lecture (caméra et micros associés) assure que les satellites et leurs capteurs sont bien entraînés par la transformation sur trajectoire elliptique des têtes de lecture. Compte rendu du projet de recherche ENIGMES p.49 2006-2007 Figure 4: Graphe de scène de l’interface graphique et quelques messages. Les objets sonores sont des objets géométriques (les feuilles) auxquels sont attachées des propriétés sonores. On remarque dans le graphe de scène que les plumes sont égales à l’interpolation de deux maillages afin de pouvoir les déformer dynamiquement en faisant varier le coefficient d’interpolation. 3.0.2 Comportements Les comportement des objets interactifs (têtes de lectures, capteurs et plumes) sont décrits par des scripts dont le déclenchement repose sur des stimuli: le message reçu d’un capteur pour lancer la lecture de l’échantillon sonore associé à une plume, la sélection par la souris pour le repositionnement d’une trajectoire elliptique, les messages externes de modification des paramètres graphiques ou des animations pour le contrôle utilisateur par transmission réseau. Les scripts sont des commandes qui servent soit à modifier les informations sur un élément de la scène (modifier la taille d’un objet, sa couleur, sa position), soit à contrôler des animations (en les lançant ou en gérant dynamiquement leurs fonctions temporelles), soit à envoyer des messages vers l’application sonore ou vers d’autres objets dans le graphe de scène pour lancer indirectement d’autres commandes. À titre d’exemple nous décrivons les deux scripts associés à la boîte englobante d’une plume. Le premier se déclenche lorsqu’un capteur entre dans la boîte englobante: il rend la plume rougeâtre, lance une interpolation qui va la faire grandir et il active ses propriétés sonores. Avec cette dernière action, la source sonore associée à cette plume deviendra audible pour tout micro allumé de la scène. Le second script est déclenché lorsqu’un capteur sort de la boîte englobante. Il annule le script précédent en remettant la plume dans sa forme et sa couleur initiales et désactive la source sonore. La figure 4 montre des circulations de messages (sensor in/out) et les exécutions de commandes (change couleur et active/désactive son). 4 ANALYSE ET RESYNTHÈSE SONORE La partie audio du dispositif Plumage est assurée par le système CATART [7] de synthèse concaténative par corpus en temps réel22 . La synthèse concaténative est un nouveau paradigme de synthèse sonore musicale qui utilise une base de données de sons enregistrés et un algorithme de sélection d’unités qui choisit les segments de la base de données qui conviennent le mieux pour la séquence musicale que l’on souhaite synthétiser, dite la cible [5, 6]. La transposition de ce principe à une utilisation en temps réel peut aussi être vue comme une extension basée sur le contenu de la synthèse granulaire, où le seul mode d’accès par position temporelle dans un fichier son est augmenté par un accès ciblé par caractéristiques sonores dans un ensemble de sons. Le logiciel CATART est implémenté dans MAX/MSP23 avec les extensions FTM et Gabor24 . Dans une phase d’initialisation, il découpe un ou plusieurs enregistrements en petites unités appelées grains , et les caractérise par leurs contenus sonores. Ces paramètres sont donnés par la valeur moyenne d’un certain nombre de descripteurs sonores: la fréquence fondamentale, le volume sonore, la brillance, le niveau de bruit, la répartition spectrale et d’autres caractéristiques du timbre. Les valeurs décrivant des informations de découpage sont également stockées comme descripteurs: la position, la durée et la provenance du segment dans les fichiers son d’origine. CATART permet ensuite l’affichage d’une projection 2D de cet espace de descripteurs à 17 dimensions, et une navigation simple avec la souris, où les grains sont sélectionnés et jouées par proximité géométrique, par métronome, en boucle, ou en continu dans l’enregistrement d’origine. Il est également possible de spécifier un rayon autour de la position courante, qui sélectionne un sous-ensemble de grains, dont un est joué au hasard. CATART est utilisé avec cette interface simple dans des contextes musicaux de composition et de performance variés. Pour Plumage, CATART a été adapté pour échanger des données avec VIRCHOR dans un environnement 22 http://imtr.ircam.fr/index.php/CataRT http://www.cycling74.com 24 http://ftm.ircam.fr 23 Compte rendu du projet de recherche ENIGMES p.50 2006-2007 distribué afin de pouvoir être contrôlé à distance (voir la section communication ci-dessous). Un nouveau mode de synthèse polyphonique à été développé. Ce mode tient compte des voix de grains qui peuvent sonner sur une certaine durée et en parallèle: durée du jeu (une fois, en boucle, ou en continu), multiplicité des échantillons activés par les têtes de lectures et multiplicité des points d’écoute. 5 MISE EN ŒUVRE Plumage a été implémenté en mettant en commun des compétences en design d’interface (l’ENSCI), en analyse et resynthèse sonore (l’IRCAM), et en réalisation d’interfaces immersives 3D interactives (le LIMSI-CNRS). Après une phase de prototypage dans Rhino25 , un outil de modélisation 3D, l’interface a été développée conjointement dans deux applications parallèles traitant de l’audio et du graphisme, communicant entre elles, et communicant avec les utilisateurs via des périphériques externes. Le développement de la plate-forme interactive a conduit à limiter les ambitions initiales (en particulier en termes d’édition dynamique de trajectoires), mais a permis en contrepartie d’explorer des pistes qui n’avaient pas été envisagées initialement sur le comportement interactif des plumes, des micros et des capteurs. 5.1 Communications Lors du lancement de l’application, CATART envoie à VIRCHOR un ensemble de paramètres spatiaux et graphiques qui permettent de positionner les plumes dans l’espace (translation et rotation) et de décrire leurs paramètres graphiques (couleur et taille). Ces paramètres sont dérivés d’un sous-ensemble des descripteurs sonores, choisi par l’utilisateur. Les interactions de l’utilisateur définissent la navigation dans l’espace audio-visuel en envoyant à l’application graphique un ensemble de paramètres d’animation: taille et orientation des trajectoires des têtes de lecture et des capteurs, vitesse de parcours de ces trajectoires, taille des capteurs... En modifiant ainsi les trajectoires, on contrôle le parcours de l’espace géométrique et sonore, et donc l’exploration des combinaisons entre les rendus graphique et audio corrélés. 6 PERCEPTION DES INTERACTIONS MUSICALES ET VISUELLES La navigation sonore dans le dispositif revient à se déplacer dans un espace virtuel dans lequel des objets sonnent lorsqu’on les touche. Cette modalité audiovisuelle nous rapproche de notre expérience quotidienne du réel en ce qu’elle donne aux objets sonores des comportements physiques ou symboliques situés spatialement dont la distribution et l’ordre musical variables définissent le parcours de l’utilisateur. La représentation visuelle fait fonction de repérage et informe sur les potentialités physiques sonores des objets rencontrés. Cette ressemblance avec l’expérience du réel tire parti de nos capacités sensorielles à interpréter un nombre important de phénomènes, leur défection, variabilité... La corrélation spatiale et temporelle des évènements audio et visuels et la capacité à se mouvoir apportent une grande précision spatiale et temporelle pour percevoir les évènements et les objets situés. Nous avons constaté une certaine rareté des rencontres entre une tête de lecture simple (un point) et les objets sonores (plumes ou feuilles). Après avoir imaginé des curseurs à dimensions variables (point, ligne, surface, volume), nous avons choisi d’intensifier les rencontres en mulipliant les têtes de lectures et les micros et en créant un mécanisme permettant à la fois le brassage des grains, les variations autour d’une position et d’une trajectoire et la polyphonie. Les jeux de têtes de lectures multiples offrent une combinatoire de jeux plus riche qui augmente les rencontres avec les objets sonores et produit des sons plus diversifiés. La variation et la capacité de mixage de plusieurs points d’écoute (équivalent sonore du point de vue ici incarné par le concept de micros) offre un contrôle dynamique sur l’écoute: soit elle a lieu depuis la position de la caméra, soit elle est placée sur le curseur ou la tête de lecture. Nous avons travaillé avec un ensemble de 200 échantillons et nous sommes rendus compte à l’usage que malgré le grand nombre d’éléments sonores, on se familiarise très vite avec la navigation dans l’environnement sonore obtenu et on en perçoit à l’oreille l’exhaustivité fondamentale. On pourrait en avoir 10 ou 100 fois plus à disposition et très probablement s’y retrouver tout aussi facilement. Plus profondément, la question qui se pose au musicien est celle de la déconstruction et de la reconstruction. En effet, le découpage en grains déconstruit le son que la navigation doit reconstruire d’une autre manière. Les structures intrinsèques des extraits sonores ou musicaux sont perdues lors du découpage en grain. Ce qui reste est un classement des timbres composant le corpus sonore d’origine, un peu comme si on rangeait l’ensemble des touches de couleurs composant un tableau dans l’ordre des différentes gammes de couleurs. L’expérience de cette redondance musicale a priori peut pourtant devenir un atout car elle témoigne d’un potentiel à percevoir des variations plus importantes, elle nous encourage à approfondir les recherches, dans le but de naviguer dans les corpus sonores et musicaux comme dans les représentations de données. Se pose dès lors la question centrale des usages, difficiles à définir a 25 http://www.rhino3d.com/ Compte rendu du projet de recherche ENIGMES p.51 2006-2007 priori, mais qui déterminent nécessairement les modes d’interaction et les attentes. 7 SYNTHÈSE ET PERSPECTIVES Le projet Plumage a donc permis de mettre en œuvre un espace multimédia audio/graphisme de navigation synchrone, cohérente et contrôlable en temps réel. Il offre de nouvelles perspectives pour la composition musico-graphique et le jeu paramétré et continu de cet espace. De nombreuses questions scientifiques sur la correspondance transmodale dynamique entre son et image restent encore à explorer: la correspondance entre les dérivées temporelles des variables géométriques (vitesse et accélération linéaires et angulaires) et leurs dépendances avec des effets sonores tels que l’effet Doppler et le lissage des informations spatiales et sonores envoyées au synthétiseur. La double communication entre l’audio et le graphisme offre des pistes exploratoires pour les effets de larsen transmodal en créant des boucles résonnantes entre les composantes audio et graphique [2]. References [1] P. Daras, I. Kompatsiaris, T. Raptis, and M. G. Strintzis. MPEG-4 authoring tool for the composition of 3D audiovisual scenes. In DCV ’01, page 110. IEEE, 2001. [2] C. Jacquemin and S. de Laubier. Transmodal feedback as a new perspective for audio-visual effects. In NIME 2006, pages 156–161, Paris, France, May 2006. NIME. [3] H. W. Jensen. Realistic Image Synthesis Using Photon Mapping. AK Peters, Wellesley, MA, USA, 2001. [4] X. Rodet, J.-P. Lambert, R. Cahen, T. Gaudy, F. Gosselin, and F. Guédy. Sound and music control using haptic and visual feedback in the PHASE installation. In NIME’05, pages 109–114, 2005. [5] D. Schwarz. Concatenative sound synthesis: The early years. Journal of New Music Research, 35(1), Mar. 2006. [6] D. Schwarz. Corpus-based concatenative synthesis. IEEE Sig. Proc. Mag., 24(1), Mar. 2007. [7] D. Schwarz, G. Beller, B. Verbrugghe, and S. Britton. Real-Time Corpus-Based Concatenative Synthesis with CataRT. In DAFx-06, Montreal, Canada, Sept. 2006. Plumage deux vues de la version de février 2007 avec les trois groupes de têtes de lectures et à droites les micros en forme d’étoiles. Compte rendu du projet de recherche ENIGMES p.52 2006-2007 5. Peinture Sonore Installation Visuelle - Sonore Interactive pour Saxophone Baryton en Mi b Azadeh Nilchiani Joan Bages i Rubi Santiago-Toma_s Diez Fischer Il s’agit d’un projet expérimental conduit par un groupe d’étudiants ayant participé au Workshop ENIMGMES en Septembre 2006. Par la suite, le projet a été mené quasi indépendamment par ses auteurs dans le cadre de leurs travaux à l’ENSAD et à l’ENM de Pantin. Ce projet propose une navigation sonore dans un tableau vidéo, avec comme interface un dispositif de caméra permettant de piloter la souris de l’ordinateur grâce au mouvement du visage. Le tableau étant considéré comme une partition navigable. Outre l’originalité de l’interface et les questions particulière qu’elle pose à l’interprète comme au compositeur, cette réalisation pose un certain nombre de questions graphiques intéressantes. Azadeh Nilchiani a souhaité utiliser des matières animées, des flux concentrés dans certaines parties de la toile sous forme de régions aux contours flous qui viennent parfois se chevaucher. Du point de vue des modalités de navigation et des outils de repérage, nous sommes ici dans un paradigme évidemment plus complexe que dans les autres métaphores même si le dispositif en l’état ne répond que partiellement à ces questions. Ici les régions détectées sont mobiles et progressives, ce qui pose de nouveaux défis. Le groupe des auteurs de ce projet a souhaité créer une pièce musicale pour le concert avec ce dispositif. Une première réalisation de la pièce a été présentée lors du Concert ENIGMES donné à Pantin le Mardi 20 mars 2007. RC "Peinture Sonore pour Saxophone Baryton en Mi b et Installation Visuelle - Sonore Interactive" (1.0) Compte rendu du projet de recherche ENIGMES p.53 2006-2007 Santiago-Tomás Diez Fischer Azadeh Nilchiani CREA – Systèmes Informatiques César Mauri Joan Bagés i Rubí 1. Conceptualisation 2. Antécédents de « Peinture Sonore » 3. Équipe de travail 4. Proposition artistique 5. Proposition technique 6. Schéma du dispositif 7. Conclusion 8. Références Compte rendu du projet de recherche ENIGMES p.54 2006-2007 1. Conceptualisation: "Peinture Sonore pour Saxophone baryton en Mi b et Installation Visuelle Sonore Interactive" est une œuvre musicale mixte (électroacoustique et instrumentale) pour saxophone et dispositif musical interactif. Cette pièce a été créée à partir de l’idée de représenter visuellement certaines caractéristiques sensibles du son. Mais aussi à partir de la représentation visuelle des possibles changements de couleurs sonores « le timbre » contrôlables en temps réel. Ainsi, l’image issue du son devient également une partition interactive. 2. Antécédents de « Peinture Sonore » - « Cd Peintures Sonores » sur la peinture d’Araceli Rubí - Cd Hazard Records - Joan Bagés. ( http://www.archive.org/details/hr047 ) - « Peintures Sonores ». Concert interactif dramatique - Joan Bagés et Carmen Platero. ( http://creaciodigital.upf.edu/~m2308/arxius-web/audios/PeinturesSonores.mp3 ) 3. Équipe de travail: - Santiago-Tomás Diez Fischer – Design Sonore. - Azadeh Nilchiani – Réalisation visuelle. - «CREA – Systèmes Informatiques César Mauri » – Développeur et programmeur de l’interface de captation du geste « Ratolí Facial ». - Joan Bagés i Rubí – Programmation Pure Data/Framestein et MAX/MSP et Design Sonore. 4. Proposition artistique Pour cette pièce, on est partie de l’idée de transposer le parcours visuel du « regard » au travers de différentes zones géographiques d'une même image (espace bidimensionnel) dans l’espace multipolaire de la composition musicale ou sonore. C’est-à-dire, donner faire évoluer l’image de la représentation/partition au cours du jeu ? Le point de connexion est le geste de se déplacer à l’intérieur de l’image en déplaçant le regard ou le visage. Quant on se trouve face une image on peut la percevoir de façon générale. On peut percevoir soit la globalité, mais cela c’est une impression vague, soit s’arrêter sur certains détail, soit suivre des parcours et percevoir de façon très claire et localisée la texture, la forme et les couleurs d’une zone géographique très précise. De cette façon, on peut concevoir l’image comme un espace, comme un territoire qu’on explore. C’est à partir de l’enchaînement de ces mouvements localisées que l’on peut rentrer dans le domaine de la temporalité. L’utilisateur sélectionne certaines parties de l’image pour extraire la couleur, l’analyser et changer le timbre du son. Donc à chaque couleur, nous avons associé un timbre concret. Le tableau devient ainsi un espace avec de multiples itinéraires. Le contenu visuel est quelque chose que l’on découvre au fur et à mesure que l’on voyage musicalement à l’intérieur de l’image. Les chemins possibles que nous pouvons suivre ou créer sont infinis. Compte rendu du projet de recherche ENIGMES p.55 2006-2007 Concert à Pantin : Joan au fond à droite pilote le suivi dans l’image 5. Proposition technique Pour développer et construire cette pièce nous nous sommes basés sur le schéma suivant de design et d’analyse de Systèmes Musicaux Interactifs: WANDERLEY, M. et DEPALLE, P. Contrôle gestuel de la synthèse sonore. (INTERFACE HOME MACHINE ET CRÉATION MUSICALE). Sous la direction Hugues Vinet et François Delalande. 1999. Hermes Science. p. 146. Gestes : Le geste pour interagir avec l'interface est le mouvement de la tête de l'utilisateur pendant que celui-ci observe l’image. Le geste de contrôle de l'installation est donc le geste de la tête. Il permet de contrôler la position x,y de la souris sur l’écran. .Captation du geste: Captation du mouvement de la tête par « webcam ». Compte rendu du projet de recherche ENIGMES p.56 2006-2007 Logiciel du captation du geste : Le système « RATOLÍ FACIAL » nous permet de récupérer numériquement le mouvement de la tête. Le système consiste à sélectionner certaines zones de l’image. Quant on ne bouge pas la tète, cette à dire, que on ne bouge pas la suris, le système comprend cette action comme la volonté de sélectionner une certaine zone de l’image. Contrôleur gestuel : .Interface : L’image et la vidéo qui apparaît sur l’écran sont les interfaces du contrôleur. On a une vidéo, qui est la représentation visuelle de la partie sonore de base (la bande créée et la composition pour le saxophone baryton en Mi b). Et nous avons aussi une image fixe avec de couleurs qui invite a l’utilisateur a changer le couleur (timbre) du son à temps réel. L’utilisateur pourra à tout moment sélectionner une des différentes parties de la vidéo ou de l’image fixe pour changer le timbre du son. Donc c’est l’analyse des couleurs de la partie sélectionnée de l’image qui fait changer le son. Les paramètres de l’image que l’on utilise pour changer les sons sont : -La couleur RGB -La saturation de la couleur -La luminescence Compte rendu du projet de recherche ENIGMES p.57 2006-2007 Production Sonore : Comme dans d’autres projets antérieurs de Peintures Sonores nous avons utilize la synthèse granulaire car elle offer des facilités de contrôle et un résultat musical de qualité. D’abord nous avons fait une séance d’enregistrement d’objets sonores a l’E.N.M. de Pantin. On a créé un banc de sons. Et a partir du banc de sons et des autres sons on a composé avec Peak, Protools et différents « pluggins » une bande fixe « Peinture-Sonore-Électronique ». Sur l’analyse avec Audiosculpt de la bande composée on a créé la partition du saxophone. Avec l’interaction du performer avec l’image, on arrive a changer à temps réel le timbre de la musique composée (la bande plus la partie du saxophone baryton en Mi b) tout créant un nouvelle réalité selon les couleurs de l’image sélectionnés. Correspondances image et son : .Couleur: À chaque couleur nous avons associé une enveloppe spectrale déterminée. La couleur ROUGE représente le son tel qu’il est, avec toute sa richesse spectrale. Et au fur et à mesure que l’on se déplace vers des couleurs plus claires, le son devient plus aigu, gelé. .Saturation: Est représenté par le contrôle des réfractions de la réverbération .Luminescence: Est représenté par le contrôle des fréquences de coupure de la réverbération. 6. Schéma du dispositif : écran PC capture vidéo MAC son : patch MAX/MSP -Audio: On charge la bande sonore composée. Le patch MAX/MSP reçois aussi par l’entrée du microphone le son du Saxophone baryton en Mi b. -« RATOLI FACIAL » pour la captation du geste de la tête et sélection des parties de l’image. -MIDI: Reçois l’analyse de couleurs de l’image qui provienne du PC. -Patch Framestein / Pure Data pour charger la vidéo et l’image fixe et analyser les couleurs de la partie de -Traitement: Avec la mise en correspondance entre la gamme de couleurs RGB et le son, on arrive a changer timbre du son en temps réel. Compte rendu du projet de recherche ENIGMES p.58 2006-2007 7. Conclusion : Cette première version a été présentée en concert le 20 de mars du 2007 à l’École Nationale de Musique de Pantin. Bien que nous soyons satisfaits de cette première version, nous la considérons comme une première version 1.0 donc nous croyons qu'il y a plusieurs aspects à améliorer pour une version 1.1. - Il faut chercher une interaction plus directe entre l'utilisateur et le dispositif, c'est-à-dire, le geste humain, et l'image. Travailler davantage la gestuelle et ses répercussions sur l'image afin que l'utilisateur navigue réellement à l'intérieur de l'image, tout en se déplaçant plus librement devant l'écran. Par exemple, on peut utiliser l'effet Zoom comme résultat de l'approchement et l'éloignement de l'utilisateur à l'écran. -Il nous faut également réfléchir à la mise en scène. Il faut penser à la manière de présenter la pièce au public. Au placement des différents dispositifs techniques sur scène afin de rendre l’interaction plus poétique, plus compréhensible et plus aboutie. -Remplacer la caméra web par une caméra infrarouge pour ne pas dépendre de la lumière aléatoire de chaque sale de concert. -Améliorer les associations entre couleurs et sons afin de leur donner plus de sens. -Dans cette première version 1.0 on relie la couleur a l’enveloppe spectral du son. Mais il nous manque de trouver l’association possible entre le son et les valeurs de luminescence, et les valeurs de saturation de couleurs. 8. Références: BOSSEUR, Jean Yves: http://www.jeanyvesbosseur.net/ CREA : http://www.crea-si.com/esp/inicio.php WANDERLEY, M. et DEPALLE, P. Contrôle gestuel de la synthèse sonore. (INTERFACE HOME MACHINE ET CRÉATION MUSICALE). Sous la direction Hugues Vinet et François Delalande. 1999. Hermes Science. Compte rendu du projet de recherche ENIGMES p.59 2006-2007 IV-Questions et réflexions 1.La recherche art et science à l’ENSCI Musique et création industrielle : le design sonore en question J’ai été chargé de mettre en œuvre un enseignement et un studio de création sonore à l’ENSCI en 2000. A l’origine, le projet portait sur le désir d’enseigner le design sonore et d’ajouter le sens de l'ouïe à celui de la vue et du toucher des objets. Aujourd’hui, l’enseignement couvre en théorie les domaines du son et de la musique dans de nombreuses applications. Il s’agit donc d’un enseignement et d’une pratique transversale dont le champ d’action est plus large que celui du « design sonore » encore trop confiné et confus. L’enseignement comporte des cours, des studios de création et des projets de recherche. ENIGMES est un projet de recherche interdisciplinaire en collaboration avec d’autres écoles (ENSAD, ENST, ENM Pantin, Université Paris XI) des chercheurs de l’Ircam et du LIMSI et des artistes. Le projet est financé par l’ENSCI, la DAP et a obtenu la Bourse Pierre Schaeffer de la SCAM en 2006. Un potentiel fondamental La recherche dans les écoles supérieures d’art et de design est le développement normal de l’enseignement qui y est dispensé aujourd’hui. Le projet historique du design est d’enraciner le monde contemporain dans l’art et inversement. Le objets du monde contemporain devient de plus en plus complexes et les créateurs d’aujourd’hui sont des chercheurs. Paradoxalement on n’enseigne pas la création dans les grandes écoles et les universités, ni la recherche dans les école d’art et de design. Les élèves designers accèdent difficilement à des postes de conception dans les domaines technologiques et scientifiques et les scientifiques ne sont pas armés pour des projets créatifs. Les projets interdisciplinaires sont rares et on se tourne le dos dans l’attente que l’autre voudra bien reconnaître sa légitimité. La création artistique appliquée peut pourtant apporter une aide substantielle à des projets de recherches menés à l’échelle nationale ou dans les laboratoires de recherches travaillants sur des sujets variés. Elle peut permettre en particulier de développer des perspectives que les chercheurs professionnels n’ont pas la possibilité d’étudier et d’envisager des applications, des débouchés ou des formes de présentations des recherches impraticables dans le cadre des projets des centres de recherches. L’artiste et le designer sont des créateurs de sens focalisés sur les question d’appropriation et d’usage. Ils possèdes des compétences approfondies dans le champs de la conception, scénarisation, modélisation, communication. Les designers ont également une savoir faire solide dans le développement de projets industriels. Grâce à de tels apports, à condition que ces projets bénéficient d’un bon encadrement, il est possible générer un nombre important de pistes de développement de qualité et d’adjoindre à ces projets des partenariats industriels. L’ENSCI dispose d’un encadrement pédagogique spécialisé dans les projets de conception industrielle. De tels dispositifs ont des vertus pédagogiques importante et donnent aux étudiants l’occasion une initiation en vraie grandeur qui leur donnent une chance de déboucher sur des réalisations à une autre échelle. Une situation historique problématique (point de vue) La recherche dans les écoles supérieures d’art et de design se heurte à un problème de formation et de statut des enseignants. Les écoles supérieures d’art dépendent du Ministère de la Culture et pour l’ENSCI également du Ministère de l’Industrie. A l’heure actuelle, seules les universités et les écoles supérieures dépendant de l’éducation nationale sont habilitées à délivrer des M(astere) et D(octorat). Cette situation constitue un frein considérable au développement de la recherche. Les raisons sont principalement le fait de l’éducation nationale et universitaire : la non reconnaissance des diplômes d’enseignants artistiques, le refus de prendre en compte les ouvrages d’art comme valeurs pédagogiques comparables aux travaux écrits… mais également la désorganisation de la filière artistique et en particulier son manque de coordination au niveau européen. On peut également déplorer le manque d’enseignements scientifiques adaptés dans nos écoles. Enfin, les enseignants étant essentiellement des vacataires, il est problématique de leur demander sérieusement de gérer des projets de recherche. Quant aux rares titulaires, ils n’ont pour le moment pas d’heures consacrées à la recherche dans leur emploi du temps. A terme, il est probable qu’une nouvelle génération d’artistes universitaires viendra remplacer celle des artistes enseignant, ce qui n’est pas un problème dans les pays où les enseignements universitaires comportent une partie pratique conséquente, mais c’est très rarement le cas en France. Pierre Schaeffer reprochaient déjà aux compositeurs électroacoustique d’être trop intelligents. Une recherche collaborative portant sur des questions et des contenus définis et partagés Nous souhaitons faire prendre conscience aux étudiants de l’éthique et des méthodes de la recherche sous la forme de quelques règles simples : • Toute hypothèse est énoncée et vérifiée. Elle fait l'objet d'un développement théorique et d’une modélisation expérimentale. • Toute expérience est validée soit par des mesures directes soit par le biais de tests utilisateurs. • Un travail de recherche documentaire est mené avant ou pendant le projet et les sources sont explicitement citées. • Un travail écrit et/ou une communication interne audio/visuelle descriptive accompagne chaque étape du développement du projet et précise les contributions du travail réalisé par rapport à l'état de l'art. • Le contenu de la recherche est partageable, partagé avec les membres de l’équipe de développement et validé par les responsables scientifiques. Le travail est partagé le plus équitablement possible entre les membres de l’équipe selon les compétences et l’engagement de chacun. • Les résultats font l’objet d’une communication et d’une publication sous la forme démonstrative la plus adéquate possible26. 2.Terminologie : partition navigable ou quoi ? 3.Liberté et contrainte Entre notation et instrument, une zone floue. Tentative d’éclaircissements La principale question de ce projet réside dans les véritables possibilités de jeux des notations actives. L’interface physique transformable ou l’interface écran 2D ou 3D constituent 2 approches alternatives ayant des conséquences importantes sur les modalités de jeu. La partition est principalement une écriture dans l’espace de la composition temporelle et de la distribution des registres (pupitres, modes de jeux…) d’une musique. L’instrument lui n’a pas de mode de représentation du temps. C’est simplement un objet jouable. A l’inverse, la partition n’est pas un objet jouable car elle ne possède pas de modes de jeux. On peut y naviguer avec les yeux ou le doigt, mais le résultat sonore ne correspond pas à la composition musicale écrite. Une première approche possible consiste donc à munir l’instrument d’une représentation du temps, une autre à transformer une partition en un objet jouable. Un instrumentiste sans partition peut produire de la musique en improvisant, l’improvisation étant une forme de musique générative orale comme en témoigne le travail d’Alain Savouret sur cette question. Elle utilise occasionnellement des modèles et des plans mémorisés par la mémoire ou les doigts, mais les bons improvisateurs essaient de se détacher des habitude de jeux, de pervertir les plans, de se mettre dans un état de réceptivité pour entendre et laisser parler leur corps, le conscient étant comme un manipulateur de marionnette et le corps comme une marionnette vivante.. L’improvisation peut se comprendre comme un dialogue entre le corps (avec l’instrument) et l’esprit (avec l’imagination). L’interprétation est dans cette perspective un dialogue à 4 : l’instrument, le corps, l’esprit et la partition. Le but de la lecture musicale est de faire en sorte que la musique passe directement de l’œil aux mains pour libérer l’esprit des tâches techniques d’exécution et qu’il puisse se concentrer sur l’interprétation. La partition apparaît comme une excroissance dans la boucle d’interaction naturelle de l’expression musicale que l’improvisation cherche à retrouver. 26 sauf en cas NDA dans le cas de partenariat de développement Compte rendu du projet de recherche ENIGMES p.61 2006-2007 Schéma traditionnel de lecture de partition Esprit/imagination Partition Corps/mains Ecoute/ son Instrument ______________________________________________________________________________________ Partition navigable Esprit/imagination Corps Œil Partition Mains Ecoute/ son instrument Suffer sur, remixer ou interpréter l’œuvre Une navigation libre dans une musique peut se contenter de quelques notes comme matériau et varier dessus à l’infini. Le remix consiste à faire une nouvelle version en modifiant des composantes importantes du déroulement comme des matériaux. L’interprétation consiste à jouer la pièce en variant certains paramètres modifiant peu mais de façon toutefois sensible le modèle. Ces trois attitudes sont fondamentalement différentes mais toutes trois sont possibles avec les dispositifs de partitions navigables La palette d’objets sonore On pourrait comparer la partition navigable à une table sur laquelle sont disposés un ensemble d’objets. Chacun de ces objets produisant des bruits divers selon qu’on les touche, qu’on les déplace, qu’on les heurte… Cela ne constitue pas une partition mais définit une sorte de palette d’instruments qui a ses règles de jeu et dont les résultats sonores a priori se ressembleront. Un joueur exercé peut en tirer évidemment n parti très différent de celui qui découvre. Mise en mouvement du joueur et notion de guide Dans le dispositif PHASE un guide haptique dessine le parcours canonique que le joueur suit et dont il peut s’écarter légèrement. Dans Feuillage (cf. § ouvrages), une ligne aimantée constitue le fil conducteur de l’interprète à l’intérieur de la partition. Contrairement à une palette d’objets le parcours temporel et spatial permet de donner un déroulement à la musique. Pour pouvoir jouer il théoriquement important de disposer des possibilités suivantes : contrôler le mouvement Compte rendu du projet de recherche ENIGMES p.62 2006-2007 en vitesse en écart au guide disposer d’outils de déclenchement des évènements sonores offrant plusieurs modes de jeux et un contrôle des nuances. Techniquement ce mouvement peut s’opérer soit en se déplaçant dans la partition soit en faisant se déplacer la partition. Ces deux manières de voir les choses ont des effets paradoxalement assez contraignants sur le résultat. Thechniquement, le plus simple est de faire bouger l’image de fond et non le curseur. Visuellement toutefois, on n’a pas vraiment l’impression de se déplacer. Il faut aussi permettre au joueur27 de se sentir le plus libre possible et faire en sorte qu’il puisse se repérer facilement. Un même objet visible, jouable et audible Les déclencheurs ou triggers Simple Multidimensionnels Polyphoniques Comportements visuels et sonores des objets excités 4.transformabilité et jouabilité de l’interface musicale 5.Le designer ou le compositeur de partition navigable, un nouvel art entre composition et interprétation Traditionnellement, la composition électroacoustique se pratique en deux temps : 1 - la création des éléments sonore et 2 - l’assemblage de ces élément28. Le 3ème temps étant celui de la diffusion ou de la performance. Avec la partition navigable, une étape intermédiaire vient s’ajouter entre la composition et la performance. La pièce est adaptée, c’est-à-dire décomposée en composantes jouables, puis recomposé sous la forme d’une partition navigable en vue d’être jouée. Cette adaptation de la pièce comporte deux aspects complémentaires qu’on pourrait désigner par la topographie et topophonie. La création de la topographie et de la topophonie sont bien entendu intrinsèquement liées l’une à l’autre, autant par la métaphore d’interaction que par la méthode de travail. On peut commencer par l’un ou l’autre ou ajuster l’une et l’autre au fur et à mesure. Techniquement il est plus facile de commencer par la topographie, à condition d’avoir bien défini préalablement les modalités d’interaction et d’en vérifier la validité. Topographie La création d’une topographie consiste en la réalisation d’une forme graphique (la partition navigable proprement dite). Cette création dépend des modalités de jeu et de la pièce. Dans Piège à Rêve(cf.chap. III-1.), les dessins sont disposés sur la toile relativement librement. De façon à remplir l’espace le mieux possible. Plus la dimension de chaque forme est importante, plus le jeu à l’intérieur du motif est fin, plus la forme est visible de loin. L’ensemble constitue une palette dont l’ordre de jeu n’est pas défini par le graphisme. Les images sont des représentations empiriques, mi symbolique mi technique, de traits, motifs et phrases sonores calligraphiés à l’écoute des sons. La calligraphie est donc une opération manuelle que le compositeur peut réaliser directement. Dans Feuillage (cf.chap. III-2.) la partition est continue et déroule un chemin sur lequel des évènements sonores sont représentés sous forme d’icônes. Des variantes des représentations sont laissées à l’utilisateur à travers les choix issus des statistiques des jeux précédents. La calligraphie est ici une définition des chemins et un choix parmi des formes graphiques existantes. 27 28 On utilise ici volontairement le terme de joueur, qui joue de la musique mais aussi par référence au jeu vidéo Ce modèle varie selon les compositeurs, les ouvrages et les écoles Compte rendu du projet de recherche ENIGMES p.63 2006-2007 Dans Les Iles (cf.chap. III-3.) les formes sont définies à l’avance par une gamme de dessins archétypaux. Il est plus difficile d’en faire de nouvelles, car cela implique de créer des reliefs très précis. Pour Plumage (cf.chap. III-4.)enfin, la topographie change en fonction du déplacement dans les agrégats de plumes, mais également en fonction de choix de représentation en temps réel et du choix des descripteurs d’analyse sonores. La calligraphie est ici définie en grande partie par les principes de l’application, mais laisse une grande liberté de choix. La création de ces topographies peut être assez lourde et complexe si elle ne s’inscrit pas dans une modalité d’usage bien définie et des méthodes et outils adéquats. C’est la raison pour laquelle nous en avons exploré quelques unes (cf. Ouvrages chap. III). Topophonie La création d’une topophonie consiste à attribuer des comportements sonores en fonction des gestes courant sur la topographie. Pour que les gestes aient une vie, ils doivent être à minima partiellement situés sur la topographie. Il s’agit ensuite de définir des mouvements et de les relier à des actions sonores. De nombreuses modalités sont possibles (cf.chap.V-2.). Nous en avons privilégié quelques unes qui à l’expérience nous ont parues à la fois simples et efficaces. Ces modalités peuvent être mise en œuvre grâce à ENIGMESLib (cf.chap. V-1.). La sonorisation d’une plaque dans Les Iles (cf.chap. III-3.) est un exemple intéressant car la topographie n’est pas modifiable une fois la plaque choisie. Il s’agit alors de la garnir de sons, mais également et surtout de composer les potentiels musicaux, autant dire la musique qui en sortira. Ce travail implique de modifier les sons en fonction des figures pour limiter les effets non souhaités et faire ressortir des détails intéressant, articuler musicalement les transitions par exemple entre deux sillons conjoints. Ce travail se fait en 3 temps : 1-définition de la composition musicale en relation avec le choix ou la création topographique, 2- Composition proprement dite 3-ajustement en vis à vis des répétitions. 6.le concert électronique comme spectacle Le réel et le montré Il n’est pas rare de voir sur la scène électronique une longue table sur laquelle, comme pour les conférences sont régulièrement alignés une série de laptops (ordinateurs portables) dont les couvercles relevés forment une espèce de créneau derrière lequel les musiciens se barricadent pendant toute la durée du concert comme des arquebusiers dans une forteresse. On entrevoit parfois à la lueur blafarde des écrans une expression de douleur ou de satisfaction. Si c’est la seule façon de faire de la musique live, je préfère l’orchestre de haut-parleurs. On y voit aussi des objets statiques et les logos des marques mais ce ne sont pas les mêmes, c’est une certaine forme d’exotisme. Lorsqu’un instrumentiste joue de son instrument en public, qu’il le reconnaisse ou non, il est en représentation. Cela se traduit par une composition théâtrale plus ou moins marquée. Le compositeur et homme de théâtre Pierre Boswillwald évoque à ce propos l’exagération des gestes de Pierre Henry à la console de diffusion. On pense également aux mouvements du haut du corps, aux effets de râles, à une certaine forme de chorégraphie certes minimaliste de nombreux solistes classiques. Mais plus simplement de tout un environnement théâtralisé, un cérémonial, l’invention du chef d’orchestre, dont on ne nie aucunement l’utilité, mais qui de facto se produit comme danseur d’une danse technique, comme le musicien est acteur d’un jeu technique. Bref, si le concert est un spectacle, le concert électroacoustique l’est également. Un spectacle étrange où a règle est un relatif silence visuel dont on pense qu’il favorise l’écoute musicale, ce que personne n’a vraiment démontré à ma connaissance. Il est certain qu’au milieu du vacarme visuel, un peu de répit ne fait pas de mal, mais l’absence de support visuel est également une mortification dont il n’est pas sûr que les effets sur l’écoute et l’imagination soient si positifs qu’on le dit habituellement. Si j’utilise ici le terme de mortification, qui peut paraître péjoratif ou provocateur, ce n’est pas pour soulever les réactions exaspérées de mes confrères, un jeu qui ne m’a jamais intéressé, mais pour exprimer la nature dramatique induite par la situation acousmatique29. C’est bien la dé-corrélation de la vue et de l’ouie adjointe à l’ambiguïté de la cause des sons électroacoustique qui lui confère une couleur particulière, musique de l’au delà, d’un autre temps, de la mémoire et de la mort. Il est rare que la musique électroacoustique soit utilisé au cinéma parce que généralement elle fait peur, elle charge dramatiquement. La part culturelle de ce sentiment est importante mais partielle. Une fois mieux incarnée, ce sentiment évolue, comme le montrent les concerts du piège à rêve par exemple. Si les exemples précédents montrent l’existence de la théâtralisation dans le concert, ils montrent également que cette théâtralisation n’est pas assumée, c’est-à-dire rarement érigée en modèle. On ne parle pas ici du théâtre musical, de l’opéra, du film musical et des nombreuses autres formes de 29 Terme emprunté par Pierre Schaeffer à Jérôme Peignot par référence à Platon et aux pythagoriciens, pour désigner une dissociation entre la vue et l’ouie, une écoute aveugle (Marc Pierret entretiens avec Pierre Schaeffer Belfond 1969) Compte rendu du projet de recherche ENIGMES p.64 2006-2007 spectacles sonores qui sont des formes de spectacle et non des concerts théâtralisés. Il est arrivé à Georges Aperghis, ainsi que Mauricio Kagel, Heiner Goebbels et d’ autres de théâtraliser des concerts, mais il s’agit généralement de musique instrumentale ou vocale, rarement électroacoustique. Compte rendu du projet de recherche ENIGMES p.65 2006-2007 V-Outillage technique 1.Développement informatique ENIGMES-Lib Développement réalisé par Roland Cahen et Jean Philippe Lambert, avec la participation de Diemo Schwarz. Nous avons développé une librairie d’abstractions Max MSP (ENIGMES-Lib30) dédiée à la reconnaissance de la position d’un pointeur dans une forme prédéfinie. Cet ensemble d’objets interdépendants comprend diverses fonctionnalités utilisables soit avec la tablette graphique, soit avec la souris, soit avec le “piege à rèves” (voir plus haut). Une notation active implique un travail graphique et une interprétation des actions relativement aux objets graphiques concernés. C’est la fonction de la librairie ENIGMES. La programmation du système consiste a définir des figures repérées dans l’espace de navigation et à les sonoriser. Cette opération se fait en trois temps, en coordonnant trois instances du programme. - les détecteurs chargés de détecter les coordonnées du pointeur dans une forme donnée. - les générateurs sonores chargés de produire le son - le mapping qui permet de relier les paramètres significatifs issus des détecteurs aux contrôles des paramètres sonores des générateurs. Représentation symbolique dans Max/MSP du fonctionnement de la librairie ENIGMES. Le schéma se lit de haut en bas dans le sens de la chaîne de traitement. 30 Roland Cahen, Jean-Philippe Lambert et la participation de Diemo Schwarz Les interfaces utilisées La souris données utilisées en sortie: x,y(position), clic(utilisé comme contact), delta (accélération) La tablette graphique données utilisées en sortie: x,y(position), tiltx, tilty (orientation du stylet), contact, pression, présence sur la tablette L’interface textile (ou piège à rêve) données utilisées en sortie: x,y(position), contact 1/Les détecteurs Ils permettent de connaître la position du pointeur (souris, stylet ou contact) à l'intérieur d'une forme Deux types de détecteurs : - Surfaces : rectangles zone rectangulaire définie à l’intérieur de laquelle on identifie : si on est dedans/dehors et la position x,y à l'intérieur du rectangle anneaux zone circulaire ou annulaire définie : on identifie si on est dedans/dehors, la distance au bord intérieur ou au centre, un angle en valeur absolue (entre 0. et 1.), le nombre de tours effectué à partir du contact - Courbes de tracé courbe ftm31 la courbe ftm est une courbe de forme libre ou tous les points sont enregistrée lors d’un parcours d’enregistrement. En relecture on identifie la position du pointeur sur la courbe en valeur absolue en fonction du temps d’enregistement(entre 0. et 1.), le n° du point le plus proche sur la courbe, la distance à la courbe (du point le plus proche sur la courbe), si on est sur la courbe ou non, si on est dans la région de la courbe ou non La librairie ftm offre plusieurs avantages pour réaliser ce type de détecteur par rapport à un patch Max traditionnel : l’utilisation des matrice permet de ranger simplement toutes les position des points de la courbe, des les sauver avec le patch, de pouvoir en avoir un nombre important. Pour la détection on utilise l’objet mnm.manalahobis qui permet de retrouver facilement le point le plus proche. 3/Les générateurs grain player32 Permet de jouer un son enregistré par lecture granulaire (interpolation de plusieurs microboucles) permettant de se déplacer dans le son sans altération de la hauteur. Les principales commandes sont la position dans le temps (0. 1.) la transposition hauteur, le volume. scratch player Effet comparable au scratch de vinyl ou de bande magnétique, c'est-à-dire la position du pointeur modifie directement la position temporelle dans le son et la vitesse du mouvement modifie la hauteur du son. Les commandes sont la position dans le temps et le volume position player Permet de jouer un son à sa vitesse normale en faisant simplement varier l'intensité en fonction de la vitesse du mouvement. Le premier point de contact détermine le point de début de la lecture. Les principales commandes sont la position dans le temps (0. 1.) qui définit le début de la lecture, le volume et sa pente d’atténuation après le relâchement (release). 31 FTM est une librairie objets de Max/MSP développée par l’équipe Applications Temps Réel de l’IRCAM www.ircam.fr/ftm 32 Ce générateur utilise l’objet sogs~ de Norbert Schnell Compte rendu du projet de recherche ENIGMES p.67 2006-2007 simple player Un simple player dont les commandes sont : play, stop, volume. Distribution de la librairie ENIGMES La librairie ENIGMES est disponible en ligne. http://perso.orange.fr/roland.cahen/download/ENIGMES-Lib1.07.zip Elle nécessite toutefois d’autres librairies et objets pour fonctionner : Kn-Lib Collection d’abstractions Max/MSP Roland Cahen http://perso.orange.fr/roland.cahen/download/KnLib2.7.zip PHASE-Lib Collection d’abstractions Max/MSP Roland Cahen et Jean-Philippe Lambert licence: IRCAMForum Ftm et mnm http://www.ircam.ftm Librairie objets pour max MSP (Norbert Schnell, Frederic Bevilaqua…) sogs~Smooth overlap granular synthesis. Developer: Norbert Schnell Distribution/licence: IRCAMForum Lobjects http://arts.ucsc.edu/ems/music/research/lobjects.readme.html Tristan externals http://web.media.mit.edu/~tristan/maxmsp.html Évolutions de la librairie Pour le moment aucun nouveau développement n’est prévu formellement. Nous pensons que le principe est généralisable et qu’il serait souhaitable que la communauté des utilisateurs, parmi lesquels il y a plusieurs programmeurs travaille dans le cadre d’un développement collaboratif au perfectionnement de ce outil. Par ailleurs, de nouveaux projets de développements pourraient permettre de le faire évoluer en fonction de besoin spécifiques. Une première approche irait vers une plus grande généricité : un outil de navigation sonore multi usage : nouveaux détecteurs nouveaux générateurs nouvelle ergonomie de mapping évolution facilité des régions au cours du temps transportabilité et adaptabilité des créations Une deuxième approche consisterait à développer une version simplifiée de l’interface utilisateur. Marine Rouit propose d’aller vers un système de glisser - déposer pour les sons. En poussant cette idée, on imagine réaliser toutes les opérations directement sur l’instrument : choisir les formes des régions, leurs positions, y placer les sons, décider et ajuster les contrôles…etc. 2.Notions d’interaction sonore Petite typologie des interactions sonores et musicales Il est essentiel de distinguer la mécanique de l’interaction de l’expression ou du résultat musical. La bonne analyse de la mécanique ne garantit pas le potentiel expressif ni le résultat musical. Toutefois elle y participe et c’est souvent à cause d’une mauvaise décomposition des éléments d’interaction que le résultat est grossier. La liste ci-dessous n’est pas une grammaire, mais donne quelques points de repère hiérarchiques pour élaborer des stratégies selon les besoins. Type d’interaction : niveau de complexité Le plus souvent une interaction très simple est préférable à une interaction complexe. Il est important de toujours se poser la question des objectifs à atteindre plutôt que de penser qui peut le plus peut le moins. Par exemple si l’objectif est d’ouvrir une porte, un simple évènement ou ordre « ouvre » suffit quelle qu’en soit la forme. On peut ensuite avoir besoin de la refermer, la trouver dans le noir, jouer à la faire grincer, mais c’est une autre affaire. L’interaction sonore la plus simple est une interaction à un seul état Il s’agit simplement du déclenchement d’un évènement sonore, début de son ou n’importe quel autre évènement. On considère implicitement que la séquence s’arrêtera toute seule une fois terminée. Bascule (binaire)à 2 état Compte rendu du projet de recherche ENIGMES p.68 2006-2007 Evénement 1- évènement 2 Par exemple la mise en route et l’arrêt d’un son ou d’une voie (piste), mais également bascule binaire d’état par exemple une modulation sur 2 tons…etc. Sélecteur à n états Le fait de choisir un état parmi n, par exemple transposer selon un mode à n degrés. Variation continue Variation d’un paramètre continu, par exemple la variation d’intensité d’un son continu Variation d’un paramètre continu entre deux limites Variation conjointe de plusieurs paramètres continus dans leurs limites propres Evènement ou variation conditionnelle conséquent antécédent consécutif synchronisé Modes d’interaction Notion d’évènement sonore ponctuel Un évènement sonore est une action qui affecte le son à un moment donné. Cette action souvent réduite au commencement d’un nouveau ‘son’ recoupe en réalité d’autres cas de figures : la fin d’un son, un changement survenu dans un flux sonore. Mais également un événement peut modifier les paramètres d’évolution d’un paramètre sonore individuel ou d’un ensemble de paramètres. Le rappel d’un preset d’état d’un ensemble de paramètres incluant est un événement sonore. Evolution programmée L’évolution programmée d’un paramètre n’est ni un événement ni un contrôle continu, c’est le plan génératif ou algorithmique du déroulement qui dirige. L’interaction consiste à modifier les paramètres d’évolution ou la vitesse du déroulement. La transition entre des presets d’état en est un exemple. Contrôle continu À l’opposé de l’évènement sonore ponctuel, le contrôle continu consiste à entretenir ou à maintenir un état ou une variation continue d’états sous son contrôle en gardant constamment la main dessus. Le contrôle continu est un contrôle en temps réel, c’est à dire que le moindre changement d’état produit des effets perceptibles ou non. Temporalité des interactions La temporalité des interactions est la façon dont l’interaction régit les paramètres temporels des objets avec lesquels on interagit et leurs relations avec le temps du sujet La question de l’autonomie du dispositif est très importante pour définir ces temporalités. Pour un dispositif totalement autonome, par exemple une musique enregistrée, l’action de mise en route au début et d’arrêt à la fin sont les seules actions du sujet ayant un effet en temps réel sur l’objet. Temps réel, temps joué, temps fixé L’idée que l’interaction est une action en temps réel est simpliste. En effet, nous interagissons sur les objets avec des temporalités et des niveaux de précision temporelle variables. Dans une même action, plusieurs temporalités cohabitent. Par exemple, un coup d’archet commence par un évènement de début, il est suivi par le contrôle continu d’un ensemble de paramètres coordonnés et se termine par une résonance non contrôlée de la corde. Ainsi on peut définir sommairement 3 temporalités de jeu : Le temps réel : une action à pour effet une réaction dans un temps imperceptible, une série ou un flux d’actions en temps réel est un contrôle continu. Compte rendu du projet de recherche ENIGMES p.69 2006-2007 Le temps joué : une action produit une réaction quasi immédiate, mais dont le retard dépend de l’action du jeu. Par exemple, une boucle est modifiée en hauteur à chaque nouveau tour en fonction de la note sélectionnée. Le temps fixé : une action de mise en route et d’interruption d’un processus prédéterminé Se placer dans une séquence de temps fixé Se positionner dans la durée d’un objet temporel (document enregistré par exemple) constitue un geste lié au temps mais ne prédéfinit pas la temporalité du jeu lui même. Représentation du temps et de l’espace Iannis Xenakis dans Musiques Formelles distingue les structures hors-temps de celles en-temps. Il inclut les objets temporels (les durées) dans la première catégorie33 afin de pouvoir manipuler les mêmes structures de données musicales et graphiques avec les mêmes méthodes qu’elles soient hors ou en temps. Une structure dans l’espace (hors temps comme la partition ou une architecture) devient une structure en temps (une musique) dès lors qu’elle est jouée. Dans la perspective de la partition navigable, cette double entrée devient un impératif d’usage, le en-temps et le hors-temps cohabitent sur le même support. Critères de sélection d’un type d’interaction Modalité de changement d’état évènement conditionnel évènement à condition multiple reconnaissance de forme à posteriori, en continu… Mapping des paramètres d’interaction Mapping direct action formatée comme la réaction (exemple : appui sur un bouton 0/1 mise en route ou arrêt de la lecture d’un son. Variation d’un paramètre de contrôle coordonné avec la variation d’un paramètre sonore continu) Mapping de 1 vers plusieurs (branches) un paramètre du contrôleur modifie plusieurs paramètres sonores (exemple : un curseur fait varier à la foit la hauteur et l’intensité d’un son continu). Dans ce cas, chaque paramètre doit être registré en fonction du contrôleur unique de façon à obtenir le rendu souhaité. Mapping de plusieurs vers 1 (racines) plusieurs contrôleurs vont agir sur un seul paramètre sonore (par exemple le clavier et le ruban de l’onde Martenot agissent sur la hauteur mais de différentes façon. Dans ce cas, chaque contrôleur à son registre propre Activation La réaction est activée ou non selon : une action, un événement interne, une temps, une valeur, une valeur dérivée, entre deux limites, si une transition de valeur se produit dans un sens ou selon une règle particulière… Il est également courant que les conditions de mise en route et d’arrêt d’une action obligent à gérer des seuils d’activations de certains effets Registration Limites en entrée, limites en sortie, fonction de transfert ou courbe de variation entre les deux limites Quantification Le paramètre du contrôleur et/ou de l’effet (son) sont quantifiés (sur une grille) selon un pas fixe ou variable, entre des limites, selon une liste de valeurs cyclées ou non. Temporisation et dynamique La plupart des contrôles ont leur temporalité privilégiée. Par exemple, si l’on joue sur la totalité de l’archet sur la corde du violon, la fréquence du changement de sens de l’archet, n’est jamais supérieure 33 Le temps dans l’Art-Science Xenakien (Anne Sylvie Barthel-Calvet 2000) Compte rendu du projet de recherche ENIGMES p.70 2006-2007 à 10 Hz. et l’accélération est limitée par le freinage précédente le changement de direction. le plus souvent, les outils numériques permettent des vitesse beaucoup plus élevées que celle dont on a besoin et le lissage est souvent nécessaire. Les paramètres de contrôle changent progressivement, dans un certain ordre et selon une certaine courbure. Paramètres liés Il est rare qu’un seul paramètre soit modifié par une action. La plupart du temps une action provoque un effet sur un paramètre principal et sur des paramètres liés. Par exemple un frottement produira un bruit quasi stable dès la mise en route lié à un paramètre sonore de rendu de la vitesse du mouvement. Mapping conditionnel La courbe de variation dépend d’un ou plusieurs autres paramètres. mapping registré le mapping varie selon le registre du paramètre. Cette registration peut être discrète ou progressive. Par exemple la mise en route progressive d’un effet lui même mappé en fonction d’un paramètre de vitesse type embrayage ou le de vitesse. mapping transmodal le mapping dépend d’un paramètre externe : la résonance du lieu, l’image…etc. Métaphore de la chaise et la table le mapping sert à faire communiquer une chaise avec une table. Les premières questions à se poser étant pourquoi et comment. Pour quoi faire, quelles causes, quels effets et comment brancher les premières sur les seconds. Plan schématique du mapping contrôleur/son Les paramètres des contrôleurs doivent être mis en forme par rapport à la fonction qu’occupe le contrôleur et de façon à correspondre. Il est péférable de se limiter à un système de paramétrage simple. Idéalement, dans un but de simplicité de programmation, on aimerait tout formater de la même manière (par exemple entre 0. et 1.), mais dans la réalité, on aura besoin de différents formatages. Voici celui que j’utilise le plus souvent Les formats les plus courants sont : Binaire (0 ou 1) Entier quantifié par exemple pour le midi(0-128) Continu flottant positif (entre 0.0 et 1.0) Continu flottant centré (entre –1. et 1.) Liste de valeurs Message, vecteurs, matrices, flux…etc Formatage ou synchronisation des paramètres d’entrée et de sortie La synchronisation ou l’alignement des paramètres est très important. C’est à ce niveau que tout se passe. Si ce qui entre dans le synchronisateur ou le mappeur est parfaitement significatif et utilise pleinement sa plage de valeurs, alors, on aura plus de chance d’obtenir des résultats significatifs. Les paramètres d’entrée une fois interprétés et formatés, doivent être parfaitement significatifs pour rendre l’effet souhaité. Par exemple, la vitesse de frottement sera codée entre 0. et 1. on aura des très faibles vitesses et des très fortes, mais également beaucoup de nuances dans les vitesses moyennes. Compte rendu du projet de recherche ENIGMES p.71 2006-2007 VI-Conclusion Les résultats du projet montrent sans aucun doute l’intérêt du sujet, l’importance de son développement, mais aussi les difficultés à surmonter pour généraliser ses résultats. En tant que projet de recherche dans une école supérieure d’art, comme son titre le laisse entendre, ENIGMES est un projet abouti, qui in fine pose autant de questions qu’il n’en résout. Résultats positifs La thématique de la partition navigable est extrêmement riche et offre de nombreux débouchés artistiques, pose des questions techniques pour la recherche, ouvre à de nouveaux développements avec des applications possibles pour l’industrie. Les ouvrages que nous avons réalisés en montrent différentes dimensions et proposent une articulation entre plusieurs genres de ce domaine. Les ouvrages les plus aboutis (Piège à Rêve et Les Iles) mèneront nous l’espérerons un chemin autonome. Les autres projets ( Plumage, Feuillage, seront probablement encore questionnés par d’autres projets de recherche qui permettront d’en préciser les modalités, les formes et les usages. Aspects à développer Les modalités de navigation 2D en cherchant à spécifier des conventions à l’usage. Le repérage dans la représentation 3D Le repérage dans des formes en mouvement La partition évolutive et animée Enrichir les modalités graphiques de navigation Un modèle possible de projet de recherche à l’ENSCI L’enseignant (responsable) prédéfinit le contenu et la forme et encadre le projet dans son ensemble. Des étudiants (pilotes) en fin d’étude ou post-diplôme définissent un projet en amont et conduisent une équipe de recherche. Un ensemble de documents sont attendus de la part du pilote : définition, cahier des charges, démos, maquettes, performances…, compte rendu ou publication. Chacun de ces documents obéis à un format défini par le responsable en fonction des projets. Limites du modèle Le modèle est bon, mais il est actuellement très difficile de valider les différentes étapes de travail. La première raison est que les étudiants en Design n’ont pas la formation nécessaire ni l’encadrement de suivi pour cela. Il faudrait qu’une équipe pédagogique différente de l’enseignant chercheur responsable valide ces étapes et que les élèves soient préalablement formés sur les tenants et las aboutissants de ces étapes comme sur les méthodes. D’autre part, cela requiert un travail plus important que les projets auxquels ils sont habitués. Une durée d’une année voire deux est souvent nécessaire et la demande de document peut apparaître comme une surcharge au projet déjà lourd en soi. Néanmoins, nous pensons que ce travail documentaire est essentiel au même titre que les réalisations concrètes et que la qualité de l’un comme l’autre sont attendus. VII-Annexes 1.Images du projet Compte rendu du projet de recherche ENIGMES p.74 2006-2007 Compte rendu du projet de recherche ENIGMES p.75 2006-2007 Compte rendu du projet de recherche ENIGMES p.76 2006-2007 2.Textes et images des étudiants rédigés et réalisées au cours du projet Zeev Zohar : définitions du fonctionnement du système statistique de Feuillage We use buttons characteristics as a language. each characteristic stands for a piece of information shape - family of sound texture - the privet sound in the family location - time animation - 'event' size - standing for a cretin parameter and the 'magnetic' rout color - standing for a different parameter We look at the table as a method of working . which in this case we are applying on Eric's piece. we break the piece to separated forms (shape and texture), in a play mode. Put these forms on a time line responding the piece. Give 'behavior' to each forms Adding new forms\sounds to the original piece. Giving more choices. Placing all forms Adding 'events' and 'nested events' (animation) Programming parameters which will be saved in playing. (in this case, counting which button was hit and which rout was chosen) Releasing the piece Now each player can decide his starting point (this also we can save) based on two parameters from a list Must/least popular buttons Must/least popular rout (this changes on advancing in the piece from button to button ) Original last rout Composed routs . (last step in the table ) This to can be an evolution programs by it self. If you decide of a certain amount of routs being displayed (or not) by their popularity. The player chooses one parameter to be influenced by and one to visualize. that way he can cross any two kind of information, and play through it . examining, experiencing and being a part of the experiment . giving a new damnation to the piece we hear as well as a new way of playing it . What we want from the programmer To create a button with 'behaviors' Behavior sound Hitting the form Orginal Left/right side Left/right balance Animation On the coroner Speed Compte rendu du projet de recherche ENIGMES p.77 2006-2007 To make a list of these buttons… the animation will be as long as the sound. Name Shape Texture Sound a b c d e …. Program the ability to save information on each button how many times it have been hit an original number (maybe more then one , by names ) a list of connection between any two buttons a a b c d e 3 0 1 2 5 3 4 8 4 b 2 c 5 4 d 0 2 2 e 1 0 2 6 4 the scene - a long time line on which I can put all buttons . when playing the buttons will advance with the speed of the joystick. c g a i d v h m n e b f j l p o k q t s r u This time line divides the buttons to gropes (or you can manually choose) [a b c] , [v d e f] , [g h I k j ] … In each grope one button is a ' magnet ' until one button of the grope been hit and the ' magnet' pass to the chosen one in the next grope c g a d v b h i m n e f j Compte rendu du projet de recherche ENIGMES k l o p q r p.78 t s u 2006-2007 From a the list of parameters we can choose a parameter to define size and one to define color. In each grope the biggest and the smallest gets a constant figure of size/color The rest are in the adjusted proportion The biggest in the size parameter gets the value 'magnet' I see 5 meager topics\stages in the programming Creating the form-sound objects create a single object with all behaviors, sound effects and animation. A skeleton in which we could put any form texture and sound. The behaviors stays the same, the animation should last as long as the sound. Object a. Behavior Hitting object Sound manipulation Animation Hitting from the left/right side Speed (hitting hard) Hitting on the coroner ….. Original Left/right balance Volume Base …. Pulse 'Wormer' color in the side Size of pulse Speed of the pulse …. Name the Shape Texture Sound ---------------------------- a ----------------------------------------------b --c ------------------------------------d -----------e …. -------------------- Scene and navigation Arranging objects in the scene How will we navigate What 'hitting' stands for Movement for example I took a simple time-line on which I can put all buttons . when playing the buttons will Compte rendu du projet de recherche ENIGMES p.79 2006-2007 advance with the speed of the joystick. This time line divides the buttons to gropes (or you can manually choose). In each grope one button is a 'magnet'. when an object from one grope is been hit the next grope 'magnet' is activated. [a b c] , [v d e f] , [g h i k j ] , [n m l o p] , [r q s t u]… c g a d v h i m n e b f j l o p k q r t s u The ability to save information we should be able to save information from users over the web original : the original values compose : save the last rout under a name history : the last 7 routs relation and popularity which mode was chosen a a b c d e Sum Original Compose1 Compose2 History1 History2 3 0 1 2 6 4 3 4 5 4 5 3 4 14 2 5 1 13 11 8 4 17 3 1 4 16 12 6 9 1 2 2 8 8 6 2 4 2 7 6 b 2 c 1 4 d 0 2 1 e 1 0 2 3 Visualize the chosen parameters From a list of parameters we can choose a parameter to define size and another to define color. Compte rendu du projet de recherche ENIGMES p.80 2006-2007 In each grope the biggest and the smallest gets a constant figure of size/color The rest are in the adjusted proportion The biggest in the size parameter gets the value 'magnet' Relation between objects - in our case nested events. Visualize, program and animation. We use buttons characteristics as a language. each characteristic stands for a piece of information shape - family of sound texture - the privet sound in the family location - time animation - 'event' size - standing for a cretin parameter and the 'magnetic' rout color - standing for a different parameter The player chooses one parameter to be influenced by and one to visualize. that way he can cross any two kind of information, and play through it . examining, experiencing and being a part of the experiment . giving a new damnation to the piece we hear as well as a new way of playing it . Compte rendu du projet de recherche ENIGMES p.81 2006-2007 Catalina Quijano : prédéfinition graphique Feuillage Compte rendu du projet de recherche ENIGMES p.82 2006-2007 Compte rendu du projet de recherche ENIGMES p.83 2006-2007 Compte rendu du projet de recherche ENIGMES p.84 2006-2007 Compte rendu du projet de recherche ENIGMES p.85 2006-2007 4.Qu’est-ce qu’un instrument ? La muse en circuit – INA-GRM Informatique musicale : geste et pédagogie Journée d’étude, 14 juin 2003 organisation : David Jisse et Anne Veitl Notes assemblées par Jean-Philippe Lambert et Roland Cahen – Ircam 16 juin 2003 Qu’est-ce qu’un instrument ? (plus particulièrement un instrument électronique) S.Delaubier : un instrument est un espace fini interactif. Un dispositif d’une autonomie réduite afin de se prêter au jeu. C’est également une extension de la pensée, lié à un sentiment de puissance. La loi du moindre effort, c’est-à-dire l’économie du geste, joue un rôle important dans l’évolution des instruments. R.Cahen. Faut-il qu’un dispositif ait une réaction à court terme pour qu’on puisse l’appeler un instrument ? C.Cadoz La boucle de retour entre le geste et le son doit être dans la constante de temps physiologique de l’interprète pour que celui-ci puisse en percevoir les éléments et s’exprimer dans le jeu. L’instrument est alors un prolongement corporel (un organe, au sens donné par Bernard Stiegler). R.Cahen Il existe des gestes musicaux non instrumentaux (ex. chef d’orchestre, montage…), des gestes sonores à la fois musicaux et non musicaux selon l’usage qu’on fait d’un objet ou d’un dispositif (ex. un objet à la fois utilitaire et musical). Compte rendu du projet de recherche ENIGMES p.86 2006-2007 Quel entretien et quelle autonomie lui donner ? R.Cochini Je suis près à étendre la notion d’instrument aux dispositifs permettant de déclencher des événements sonore ayant une certaine autonomie. R.Cahen Il est possible de définir un bon instrument selon le flux d’énergie qu’il permet de manipuler ? S. Delaubier Un bon instrument propose : – un bon rendement – une gestion souple de l’énergie ? L’ordinateur remplit deux rôles de représentations de mécanismes : – mental du musicien – monde réel A. Veitl : Un instrument, par exemple par le choix des représentations adoptées, se définit par : – sa préregistration – sa préparation pour un but Citation ajoutée : (Marc Battier : De la phonographie à la lutherie numérique. L’épihanie du son artificiel) La qualité, ici, se comprend comme la catégorie de ce qui rend possible l’expression d’une intention. Sur un instrument de musique conventionnel, elle se réfère autant à l’excellence du timbre qu’à la ductilité offerte aux modes de jeu de l’instrumentiste. En d’autres termes, elle est elle-même composite et assemble deux propriétés indépendantes, que l’on désignera comme matière et degrés de liberté. La matière est le résultat de l’excitation du corps sonore. Elle est le son. Les degrés de liberté sont le moyen par lequel l’instrumentiste façonne la matière. Avec l’ordinateur et la synthèse numérique du signal, la question des degrés de liberté de l’instrument virtuel est autrement plus complexe. Tout d’abord, la lutherie numérique peut être définie comme une combinaison hautement instable de trois notions : l’instrument au sens de corps sonore, la machine, comme moyen de calcul et d’opération programmée, et la représentation qui permet aux deux premières catégories d’interagir et au musicien de spécifier ou de modifier les données circulant dans la lutherie. R.Cahen Un geste sonore est non musical si il n’a pas comme finalité principale de jouer de la musique - par exemple d’écouter, réentendre un son pour vérifier qu’il soit lié à une action de signaler par le son de produire par une action un son accidentel une geste nerveux marquant une impatience… Un geste musical n’est pas instrumental si-il ne contrôle pas un instrument. Par exemple un chef d’orchestre a un geste musical mais non instrumental Si-il intervient sur le temps, vitesse et sens de déroulement, placement d’élément préétabli. Autres idées associées à l’idée d’instrument : Un instrument existe de par son répertoire. Même un nouvel instrument s’inscrit dans un genre musical et à plus ou moins de chance de succès selon son répertoire possible et potentiel. Un instrument comporte un ou plusieurs modes de jeux, c’est à dire un ensemble de gestes produisant divers effets musicaux. Certains instruments ont très peu de modes de jeux et de possibilités sonores, Compte rendu du projet de recherche ENIGMES p.87 2006-2007 ils sont le plus souvent utilisées pour des fonctions orchestrales précises ( Cuica, triangle…). D’autres ont de nombreux modes de jeux et de nombreuses possibilités mais sont peu utilisés car leur mise en œuvre est trop lourde ou leur manque de souplesse en situations de jeu en font des instruments finalement pauvres. C’est le cas de la plupart des dispositifs électroacoustiques, synthétiseurs et autres. Bien entendu n’importe quel instrument bien travaillé peut donner d’excellents résultats, mais dans tous les cas, ce travail demande un investissement considérable. C’est la raison pour laquelle très peu de musiciens s’engagent sérieusement dans l’apprentissage d’instruments expérimentaux et préfèrent encore des « truc qui marchent » à des fabuleuses promesses de résultats, à moins qu’ils n’en soient eux-mêmes les concepteurs. Pierre Schaeffer (Traité des Objets Musicaux p 47-48) Compte rendu du projet de recherche ENIGMES p.88 2006-2007 Pierre Schaeffer (Traité des Objets Musicaux p 51) 5. Cahier des charges du développement de Plumage Yoan Ollivier, Svetlana Bogomolova, Benjamin Wulf Christian Jacquemin, Diemo Schwarz, Roland Cahen 11 Décembre 2006 Construction d’un démonstrateur pour la métaphore « plumage » Cahier des charges de développement 3D temps réel dans le logiciel Virchor (Virtual Choreographer) et dans Max/MSP/ftm le patch CatArt A. analyse de l'existant 1. Résumé et analyse des précédentes expérimentations: a. objectifs Comment naviguer dans une partition sonore 3D ? Les ouvrages ont été développés sur la base sonore de la synthèse concaténative (Diemo Schwarz Ircam) et d’un dispositif de représentation et de navigation visuelle 3d temps réel dans Virchor (Christian Jacquemin – LIMSI) b. maquettes de principes En Septembre nous avons réalisé des maquettes de principe en vidéo montrant les modalités de navigation et les liens entre les sons (grains) et la représentation 3D. c. premier système interactif Puis un premier test de liaison effective entre les deux modules (CatART et VirChor) a fonctionné en Novembre. Il s’agit maintenant de définir plus précisément les développements les plus importants à réaliser courant Janvier pour obtenir un démonstrateur navigable fonctionnel. Le but de ce démonstrateur est surtout 'd’expériencer’ directement le comportement et la navigation en 3D dans les sons. La part conception design, contenu, et expression étant au centre de cette expérience. Compte rendu du projet de recherche ENIGMES p.89 2006-2007 d. Limites de l’existant : - le déplacement du curseur sur une courbe aléatoire rend difficile la compréhension de ce qui se passe. - Il est difficile de relier les sons entendus aux objets rencontrés - la distinction entre le rôle d'auditeur, de musicien et de compositeur n'est pas forcément nécessaire. Cela implique de définir de nouveaux comportements des objets et des modes de navigation (du sujet). - pour l ‘expérimentation il serait essentiel de faciliter l’accès à un ensemble de paramètres définis et de possibilités de variations ci dessous, sans devoir modifier la structure du programme. Il sera possible alors de voir et d’entendre immédiatement les résultat. 2. conclusion sur les modification à apporter au projets "plumage" a. Taille des boîtes - jouer toutes les boîtes que la tête de lecture traverse -Il faut pouvoir modifier facilement la taille des boîtes (c’est déjà en partie le cas) b. La polyphonie -jouer plusieurs plumes simultanément , les plus proches de la tête de lecture ( cela pose la question de la distance "critique") -jouer avec plusieurs tête de lectures au même temps (voir développement plus bas) c. Spatialisation : ajout de la distance, si possible de la direction La donnée de la distance d’une plume par rapport au point d’écoute permettra de spatialiser le son des plumes. Par exemple nous suggérons que lorsque un trigger est dans plusieurs boites (son ON), la distance avec le point d’écoute donne le volume de la plume. La direction ou la position relative au point d’écoute donne, elle les paramètres de spatialisation. Il est important de pouvoir situer ce point d’écoute, par exemple soit sur la caméra (point de vue) soit sur la tète de lecture soit ailleurs dans l’espace. d. Trajectoires de la tète de lecture - des courbes prédéfinies - des courbes modulables - des courbes liées à la position des plumes, qui changerait à la manipulation spatiale des plumes. e. L'automatisation des triggers - des triggers multiples (qui forment "une tête" de lecture) - des triggers aux mouvements cycliques B. Nouveaux Cahiers des charges Deux hypothèses d'interactions et de lectures Au regard des remarques précédentes, deux hypothèses de développements sont envisageables. Elles représentent chacune la suite du projet en poursuivant certaines remarques de ces remarques, mais intègrent la même volonté d'augmenter l'interaction dans PLUMAGE. La première "mouvements cycliques" pose l'utilisateur en compositeur / auditeur. Celui-ci construit un système sonore en organisant dans l'espace des mouvements cycliques de triggers la construction spatiale de ce système organise une "composition sonore" spécifique. La deuxième "Manipulation de l'espace sur la trame temporelle" joue sur une plus grande maniabilité de l'organisation des plumes, mettant en avant les effets musicaux produit par la navigation d'une caméra subjective qui suit le dérouler temporel original du morceau. Elles semblent toutes les deux proposer des usages intéressant de cataRT et de VirChor, nous manquons juste de compétence d'évaluation quand à la faisabilité de l'une et de l'autre. Remarque sur l'écoute des sons: Ces deux hypothèses s'intéressent aussi à la question de l'écoute de sons dans un univers virtuel en trois dimensions, et le développement de cette partie nous semble primordiale par rapport à l'objectif initial : comment naviguer dans une partition navigable en 3D ? Compte rendu du projet de recherche ENIGMES p.90 2006-2007 Nous faisons donc systématiquement la distinction entre le point de vue, le point d'écoute, et l'origine du son dans le reste du document, en spécifiant pour chaque exemple leur position. point d'écoute: point de vue: origine du son: Référence de la position des oreilles de l’auditeur Référence de la position des yeux de l’auditeur (caméra) Origine causale, l'action qui déclenche le son et sa position (le trigger) Remarque sur les définitions: nous utilisons plusieurs termes spécifiques en voici les définitions pour plus de clarté. les lecteurs : tête de lecture: objet parcourant l’espace 3D composé d'un ou plusieurs triggers. Métaphore d’un atome (atome lui-même) trigger: élément déclencheur de sons composant la tête de lecture. Métaphore d’un atome (électrons). Il peut y en avoir un ou plusieurs dans une tête de lecture (jusqu’à 3 pour le moment) les sources sonores : plume: objet graphique représentant le grain de son situé dans l'espace au centre de la boîte (représenté par un point dans CatART), qui joue lorsqu'il est stimulé par une tête de lecture boite: zone parallélépipédique entourant la plume et définissant la limite de déclenchement du son. les mouvements : Orbite : mouvement cyclique des triggers dans la tête de lecture portée ou trajectoire : une courbe visible dans l'espace, qui définit la trajectoires d'une tête de lecture (ces termes sont synonymes pour le moment) Modificateur: élément, qui influence la forme d'un ou plusieurs tracés : attirance ou répulsion Possibilité 1. mouvements cycliques. 0. les structures de portées spatiales. L'idée de "mouvements cycliques" est de mettre a disposition de l'utilisateur un statut simultané de compositeur et d'auditeur. Dans cette optique la manipulation du son s'opère grâce à la manipulation de petits systèmes de lecture répétitifs placé dans l'espace des plumes. L'utilisateur vient intervenir sur les paramètres et les positions de ces systèmes cycliques. pour faire varier et ajuster la lecture des plumes dans l'espace. 1. trajectoires ou portées : une courbe visible dans l'espace, modifiable , qui définit le parcours d'une tête de lecture - construction de courbes à partir d'éléments types Il serai plus aisé d'avoir, si c'est possible, une interface visuelle qui représente les différents éléments que l'on peut poser sur la scène. Par exemple, on "drag and drop" les éléments depuis une bibliothèques pour les disposer dans l'espace. De même il serai plus logique d'accéder plus simplement aux paramètres de chaque objet, par exemple on entre dans les paramètres de chaque éléments en double-cliquant sur son centre. Nous identifions deux trajectoires intéressantes parce que très simple : 1. l'ellipse 3D La construction et la manipulation des cercles doit s'effectuer en fonction des paramètres suivants en viendra le faire évoluer à l'aveugler et cliquant et glissant sur les éléments: Compte rendu du projet de recherche ENIGMES p.91 2006-2007 • le centre de l'orbite (définit en x, y, z ) • le rayon du cercle (limité à une valeur particulière) • le rayon elliptique (limité à la même valeur particulière) • l'inclinaison du cercle (définit par un vecteur en x,y,z avec le centre du trigger que l'on manipule comme référence) • la vitesse de déplacement de lecture sur l'axe de la trajectoire. 2. le vecteur • le vecteur correspond en fin de compte à un cercle dont le diamètre elliptique serai quasi-nul, il suffit donc de le considérer avec les même paramètres que le cercle. 2. triggers et orbites a. différents types de comportements sur une portée navigable Sur chaque trajectoire, évolue une tête de lectures (atomes) autours duquel s'organise des triggers (électrons). Un triggers peut décrire un mouvement, le tracé de celui-ci est appelé orbite. Ces orbites permettent de donner des variations "rythmiques", "harmoniques" et aléatoires au sein de la portée. La tête de lecture joue un rôle sémantique visuel, mais ne présente pas de possibilité interactive dans la manipulations du son. Lorsque les triggers croisent une plume, ils déclenchent le son mappé sur celle-ci. L'utilisateur peut modifié les propriétés de chaque tête de lecture, en venant manipuler et paramètrer les triggers. b. multiplicité des triggers sur une même tête de lecture ( atome ), on peut placer plusieurs triggers (électron). • 1 à 3 triggers par portée comportementales • positionnement en x, y, z en prenant le trigger d'origine comme origine de coordonnées. • distance maximale de position pour les trigger (sphère qui limite la répartition au-delà) c. cinétique des triggers Chaque trigger a sa propre orbite. Ce qui a pour fonction de donner séquencer le jeu musical à une échelle temporelle relativement courte ( de l'ordre de la seconde), donnant ainsi une variation du motif sonore. 1 ellipse 3D • le centre de l'orbite est la position originelle au repos du trigger (définit en x, y, z avec comme origine le centre de la tête de lecture) • le rayon du cercle (limité à une valeur particulière) • le rayon elliptique (limité à la même valeur particulière) • l'inclinaison du cercle (définit par un vecteur en x,y,z avec le centre du trigger que l'on manipule comme référence) • la vitesse de déplacement de lecture sur l'axe de la trajectoire. 2. le vecteur • le vecteur correspond en fin de compte à un cercle dont le diamètre elliptique serai quasi-nul, il suffit donc de le considérer avec les même paramètres que le cercle. d. combinaisons des comportements de triggers Les orbites sont combinables et on peut avoir sur une seule trajectoire plusieurs triggers avec des déplacements indépendants les un des autres. 3. les points d'écoute. a. paramètres liés au niveau sonore Les points d'écoute représentent une lieu dans l'espace du plumage ou les sont sont perceptibles. Ils s'apparentent à des microphones dans le cas présent. Les triggers sont les Origines Sonore. Les plumes sont comparables à des cloches que les triggers viennent faire résonner lorsqu'ils rentre en contact. Compte rendu du projet de recherche ENIGMES p.92 2006-2007 chaque point d'écoute possède une zone d'audition dans la laquelle peut être écouté les origines du son. certains paramètres viennent modifié cette écoute : • la distance : le niveau sonore de chaque plume est définit par la distance à laquelle se trouve les triggers du micro. Plus le trigger qui croise une plume est près plus le son est fort. • la vitesse : le volume du son est proportionnel à la vitesse à laquelle le trigger rencontre la plume. Plus la vitesse du trigger est rapide plus le son est fort. b. position des points d'écoute. L'utilisateur vient définir où se situe le ou les points d'écoute dans l'espace. Ces points correspondent à l'intensité nominale du son. • Ils peuvent être fixes dans l'espace dans ce cas l'utilisateur positionne le point d'écoute soit numériquement en donnant ses coordonnées (en x, y, z), soit si possible manuellement en le saisissant avec la souris et en le déplaçant dans l'espace. • Ils peuvent être mobile en positionnant ceux-ci sur une tête de lecture. dans ce cas on est dans une situation d'écoute directe, la distance avec les triggers est négligeable. Il faudra leur trouver une représentation graphique puisqu'ils entreront dans le champs visuel. 4. modificateurs Les modificateurs sont des modulations qui viennent agir directement sur les paramètres de toutes les portées de l'espace. Ils permettent de mettre l'attention auditive du jeu sur ces zones particulières de l'espace. ils ont également pour fonction de faire varier le déroulement musical et d'introduire des dérives dans les cycles établis. Ces comportements nous semble intéressants, mais on peut envisager les développer dans un deuxième temps, car ils peuvent complexifier la compréhension du système. 1. zones attractives cet élément vient faire infléchir la courbe des trajectoires à sa portée. Il les attire vers lui. Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément. 2. zones répulsives cet élément vient faire infléchir la courbe des trajectoires à sa portée. il les repousse de lui. Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément. 3. zones de ralentissement Cet élément vient modifier la vitesse de la tête de lecture à sa portée. Il accélère la vitesse de la tête de lecture. Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément. 4. zones d'accélération Cet élément vient modifier la vitesse de la tête de lecture à sa portée. Il accélère la vitesse de la tête de lecture. Son efficacité est proportionnelle à la distance entre la courbe et le centre de l'élément. protocole de communication • virchor/max (v -> m) • max/virchor (m -> v) les cameras: /camera 1 : camera utilisateur /camera 2 : camera azimuthale /camera 3, 4 et 5 : camera tête de lecture 1, 2 et 3 Les micros : Compte rendu du projet de recherche ENIGMES p.93 2006-2007 /micro 1, 2, 3 : micor placés sur les têtes de lectures. /micro 4, 5, 6 : micros fixes (x, y, z) /micro 7 : micro caméra messages: v -> m : (30 sources) /micro n° id distance azimuth elevation m -> v : ( 7 micros ) /micro_onoff : n° 1/0 /micro_pos (pour les micors 3 4 et 5): n° x y z yo spin roll les têtes : m -> v : /visible_tete n° 1/0 /tete n° x y z a b yo spin roll /tete_pos n° va (vitesse angulaire (-360. , +360.) v -> m : /tete_id n° x y z (envoie la position de la tête quand sélectionnée par la souris) les triggers : (position canonique, perpendiculaire à la trajectoire de l'ellipse) m -> v : /visible_trigger n° 1/0 /trigger n°(tête) n°(trigger) a yo spin /trigger_pos n°(tête) n°(trigger) va la visibilité des éléments : /visible_trigger n° Possibilité 2. Manipulation de l'espace sur la trame temporelle. a. description Cette deuxième piste utilise la répartition temporelle des plumes dans le morceau d'origine comme structure de la trajectoire de lecture. Il n'y a qu'une seule tête de lecture, et un seul trigger. Celle-ci parcourt la trajectoire en reconstituant éléments par éléments le morceau, en commençant par le premier puis le deuxième, etc. jusqu'au dernier élément, puis il reprend au début. Si l'utilisateur vient changer la répartition spatiale des plumes en modifiant le choix des descripteurs dans CataRT, la courbe se modifie mais la tête de lecture continue à jouer suivant l'ordre temporel du morceau d'origine sans se préoccuper de la réorganisation qui s'est opéré. La courbe est "magnétisée" sur les plumes. Lors d'un changement d'organisation des descripteurs de cataRT, le déplacement ne doit pas s'arrêter, La courbe est "magnétisée" sur les plumes et on doit voir les plumes se déplacer progressivement de leur position d'origine jusqu'à leur nouvelle position. b. lecture du son Le point d'écoute est lié au point de vue. Le point vue est la vue de la caméra, le point d'écoute est le trigger (visible ou non) qui se trouve devant la caméra sur la trajectoire. La vue représente un parcours où on découvre les sons, c'est donc la distance qui prévaut dans ce cas. les sons qui s'approchent sont donc lu avec un volume sonore qui augmente progressivement. c. manipulation Dans ce cas la les éléments suivants doivent apparaître sur l'interface. 1. les paramètres de la courbe. • la vitesse de défilement • le sens de lecture (début à la fin ou l'inverse) • le niveau de lissage de la trajectoire (segment très rigide à des courbe très lisse) Compte rendu du projet de recherche ENIGMES p.94 2006-2007 2. les paramètres de répartition de l'espace • une possibilité de changer en temps réel la taille des boites autours des plumes (En fonction de la taille des boites, un ou plusieurs sons proches de la courbe seront joués afin de créer des variantes ou des distorsions.) • une visualisation des paramètres qui organise la répartition des plumes dans l'espace. • l'adjonction d'un algorithme de lissage de la courbe pour créer des variantes Compte rendu du projet de recherche ENIGMES p.95 2006-2007 6. Publications Article des JIM 07 résumé complet du projet, de son contexte et de ses développements ENIGMES : LA PARTITION NAVIGABLE Un projet de recherche collaboratif et interdisciplinaire en école supérieure d’art Roland Cahen ENSCI roland.cahen@wanadoo.fr www.ensci.com http://projetenigmes.free.fr RÉSUMÉ Le projet ENIGMES34 (Expérimentation de Nouvelles Interfaces Gestuelles pour la Musique et le Son) développé à l’ENSCI (Ecole Nationale Supérieure de Création Industrielle) en 2006-2007 est un projet de recherche et d’expérimentation pédagogique interdisciplinaire associant des étudiants, des enseignants, des chercheurs et des artistes. Le thème en est la partition navigable (ou partition instrument) soit une approche interdisciplinaire de la composition et du jeu musical électroacoustique tirant parti des possibilités offertes par les outils numériques. La recherche musicale porte sur des problématiques d’usage dans un cadre pédagogique. Quatre métaphores d’usage ont été définies et développées : deux concernant les interfaces gestuelles, et deux les modalités de navigation sonore en 2D et 3D (Chap. 3). Un outil logiciel que nous détaillerons a été développé pour ce projet : ENIGMES-Lib. Ce projet s‘inscrit dans le contexte pédagogique du développement de la recherche dans les écoles d’art (Chap. 5). Nous avons ajouté cette dernière partie portant sur des questions sociopolitiques car la forme et le contenu de cette recherche nous paraissent indissociablement dépendants de son contexte d’existence. Mots clés : musique, navigation sonore, interaction, jeu musical, design, interface, conception, usage, graphisme, notation, audionumérique, multimodalité, parcours sonore, métaphore d’interaction, repérage, détection, générateur sonore, musique électroacoustique, écoles d’art, recherche, art appliqué. partitions navigables Le concept de partition navigable ou partitioninstrument s’inscrit dans la perspective de celui de « navigation sonore » : c’est-à-dire un parcours dans 34 ENIGMES est un projet de recherche interdisciplinaire en collaboration avec d’autres écoles (ENSAD, ENST, ENM Pantin, Université Paris XI) des chercheurs de l’Ircam et du LIMSI et des artistes. Le projet est financé par l’ENSCI, la DAP et a obtenu la Bourse Pierre Schaeffer de la SCAM en 2006. un espace sonorisé générant une composition sonore en fonction des actions de l’utilisateur sur les objets (sonores) qui composent l’espace. Traditionnellement, la partition est indépendante de l’instrument, pour des raisons pratiques évidentes qui permettent entre autres choses une indépendance des fonctions de lecture/écriture et de jeu. Mais cette indépendance est aussi historique car le support papier de l’écriture et de la lecture peut difficilement fusionner avec l’instrument classique. Cette fusion amène également des effets négatifs : - répertoire réduit à un seul morceau dans le cas d’instruments construits pour une seule musique. - expression instrumentale contrainte; dans le cas d’une conduite fidèle à la partition. Toutefois ces limites pourraient être dépassées, d’une part par la transformation de l’instrument au cours du morceau et d’autre part en développant les éléments d’un Solfège Graphique de Navigation Sonore, c’est-à-dire des règles graphiques et des modalités d’interaction types pour la navigation sonore. Ce néo-solfège ne pourrait probablement pas être aussi générique que le solfège traditionnel, il ne pourrait s’envisager que sous une forme dépendant des modalités d’interactions et des situations d’usage, voire des œuvres, comme c’est souvent le cas en musique instrumentale contemporaine. Cette transformabilité de l’instrument est facilitée par les dispositifs numériques. Avec ces outils, la possibilité de modifier facilement l’interface visuelle et possiblement les modalités d’interactions, permettent d’envisager de nouvelles distributions des fonctions entre la notation et la production sonore. On peut alors réaliser des formes de partitions qui soient également des instruments, autrement dit des notations actives dans lesquelles les mécanismes instrumentaux et la notation peuvent être coordonnés, animés, orientés en fonction de l’œuvre, de l’usage…etc. La question posée aux étudiants était d’imaginer de tels dispositifs et de concevoir puis développer des métaphores d’usage35. 35 Les 4 ouvrages développées au cours du projet se sont donc appuyés sur des Assez vite, le terme de partition navigable, dont le principal avantage est qu’il suggère une certaine sophistication eu égard à la très riche histoire de la notation musicale, nous est apparu trop fortement rattaché à la tradition, engendrant des confusions. Lors des présentations, les questions du public musicien revenaient souvent à la question de savoir si ce que l’on proposait était « mieux ou moins bien qu’une partition musicale classique »…renvoyant la problématique de la partition navigable à celle des « nouvelles écritures musicales », une question somme toute hors sujet. Nous avons donc cherché à prendre de la distance avec ce concept et n’avons pas encore trouvé celui qui conviendrait le mieux : Notation musicale active, Topophonies, Lignes sonores, parcours, tracés… navigable, du point de vue de l’interprète. EVOLUTION DES CONTEXTES D’EXISTENCE DU JEU MUSICAL ET DU JEU MUSICIEN Les contextes d’existence du jeu musical évoluent et se diversifient avec le développement des usages numériques. La musique accompagnant un jeu, l’interprétation collaborative via l’Internet, le remix, le karaoké sont quelques-unes de ces formes émergeantes, mais l’avenir nous en réserve très probablement d’autres [11]. La forme musicale et les modalités de mise en œuvre de la musique sont fortement attachées aux situations d’usage du jeu musical et du jeu musicien. Nous entendons ici jeu musical comme toute forme de jeu produisant de la musique et jeu musicien comme l’expression musicale travaillée dans une perspective centrée sur le résultat musical. D’un autre coté, le public des artistes visuels a tendance à confondre la démarche de la partition navigable avec celle des partitions graphiques. Certes le graphisme joue un rôle important de repérage et de mise en forme visuelle, mais la question de l’esthétique de la notation est ici accessoire. La visualisation joue un rôle avant tout fonctionnel. Elle apporte au joueur un repérage spatial/temporel et une restitution visuelle dynamique de l’interaction ellemême. L’esthétique visuelle intervient en fin de chaîne, au niveau des représentations données à voir au joueur et au public lors de la performance. La question de la relation son/image ou son/geste, prise telle quelle est également une question théorique trop générale. Pour donner du sens à cette relation, il est nécessaire de la confronter au contexte d’usage et traiter chaque situation au cas par cas. Dès que nous envisageons les cas spécifiques, les termes son, image et gestes ne désignent plus que des notions très sommaires, inopérantes pour spécifier leurs relations. le spectacle du concert numérique Le concert électroacoustique ou acousmatique et par extension celui des musiques électronumériques posent encore aujourd’hui la question de l’absence de visuel. Dans le spectacle du concert instrumental, le spectateur regarde l’interprète et l’instrument, les gestes et les expressions du musicien, le vécu, l’effort, l’émotion…, mais le plus souvent, on voit mal l’action instrumentale. Cette imprécision joue probablement un rôle pour l’écoute. Dans le concert électroacoustique, l’expression et les gestes du musicien sont réduits à une gestique sans lien apparent avec la dynamique du contenu sonore. La relation de cause à effet échappe alors au spectateur. Le fait de voir le musicien agir avec un geste coordonné à la musique, apparaît comme un fondement important de la relation causale qui donne sa légitimité à l’interprète. Présenter une construction visuelle liée au geste du musicien, peut permettre de dépasser la mécanique peu significative de l’instrument et voir émerger une mise en représentation, un spectacle de la relation entre l’action du musicien et l’effet sonore produit. Qu’en est-il de la présentation de la partition comme visuel ? On a peu d’expérience d’utilisation de la partition comme visuel du concert, encore moins d’un suivi interactif de cette partition. C’est dans cette direction que nous travaillons. Le statut de l’interprète/joueur Le statut de l’interprète ou du joueur dépend de l’usage de la musique. Deux situations sont principalement concernées : La situation de concert (cf.§2.1), dans laquelle l’interprète connaît bien la partition et maîtrise bien l’instrument. Son interprétation consiste à faire au cours de la performance des choix de chemins, de mise en forme et d’expression. L’interactivité publique 36: Un parcours de découverte intuitif et/ou guidé, Figure 1. Comparaison entre le fonctionnement de la lecture musicale traditionnelle à l’instrument et de la partition 36 « Pour ce qui concerne des oeuvres dont l’expérience du public s’inscrit dans le temps de l’interaction, la notion de partition, perd la linéarité et sa directionnalité traditionnelle, liée métaphores comme cela se pratique souvent dans le design d’où leurs titres poétiques (“les îles”, “plumages”, “feuillage”, “piège à rêve”). Compte rendu du projet de recherche ENIGMES p.97 2006-2007 une variation autour d’un motif connu, un jeu musical performatif, un jouet contemplatif…etc sans interactivité. Le logiciel Mimesis41 permet de réaliser des modélisations physiques animées d’ensemble de masses reliés entre elles subissant des contraintes, ces objets sont sonores et interactifs, mais ne sont pas conçus comme des notations. Dans les deux cas, la partition navigable fonctionne comme celles des œuvres ouvertes, c’est-à-dire qu’une certaine liberté est laissée à l’interprète ou au joueur. Cette liberté est définie et contrainte par les règles d’interaction. Toutefois le terme de forme ouverte, s’il donne un cadre générique et historique, renvoie à un champ trop étendu. Pour être navigable, la notation doit obéir à des règles d’interaction simples pour l’ordinateur et assimilables par l’interprète. Le graphisme doit également être jouable. Les écritures graphiques ouvertes comme celles de John Cage ou Earl Brown…ne permettent pas une interaction directe car elles sont conçues pour être lues et le cas échéant pour questionner la règle même. Dans l’article Concurrent constraints models for interactive scores [4] on trouve une excellente définition de l’approche temporelle des partitions navigables : « An interactive score is a set of musical objects (such as notes and events) that are bound with temporal relations. In this set, some events are chosen to be interactive… ». Il faudrait y ajouter la dimension navigable c’est-à-dire la conduite interactive. Dans le même article, les auteurs distinguent le processus de composition, au cours duquel la partition interactive est crée, de la performance au cours de laquelle elle est jouée. S’agissant de musique électroacoustique, la partition est une interface / transcription réalisée a posteriori par une tierce personne (designer de partition navigable) dans une perspective définie par l’application. Références et différences Le point de départ de notre travail sur la navigation sonore vient de projets de réalité virtuelle comme ICARE37. Des expériences préalables au projet « les îles » ont été réalisées dans le cadre du projet PHASE[9]. Nous avons trouvé peu de références concernant les partitions navigables : souvent les sujets trouvés sont liés à des questions proches mais différentes: programmation de musique interactive, algorithmique ou générative, forme ouverte (ou œuvre ouverte), suivi animé automatique, karaoké, nouvelles notations, graphisme sonore interactif, navigation sonore…etc quatres métaphores Les Iles42 Des surfaces en relief sont fixées sur une tablette graphique et fonctionnent comme guide haptique passif pour la navigation sonore. Différentes formes de surface offrent des variantes de modalités de jeu et d’interaction. Deux métaphores d’usages ont été développées : Mais rares sont les publications dans lesquelles apparaissent une réflexion générique et un travail de conceptualisation sur la navigation sonore dans une partition où le support de représentation de la forme musicale devient également comme espace de jeu. Voici quelques travaux dans lesquels des questions proches sont abordées : Maquette d’Open Music38 où des actions séquentielles et des interventions interactives sont possibles, mais dont les objectifs sont le déclenchement et le contrôle d’événements ou d’algorithmes musicaux au cours de l’exécution d’un morceau. Le logiciel Iannix39 propose une représentation graphique séquentielle de paramètres sonores continus avec très peu d’interactivité. OTL(PTL)40 est un éditeur de partitions graphiques contrôlant dynamiquement des paramètres continus 1 - des modules de jeu pour le concert et l’improvisation électroacoustique 2 - un programme d’aide à l’apprentissage de l’écriture à l’interprétation musicale pour gagner en spatialité, en réversibilité, en multidimensionnalités, en ouverture etc. On retrouve ici les vieilles questions de l’oeuvre ouverte, partition = espace virtuel, actualisé, le temps de l’expérience interactive. » Anne Sedes en commentaire à la lecture de cet article. 37 Réalité virtuelle I.Chabanaud R.Cahen B.Herblein CICV (19961998) http://www.ircam.fr/44.html?&tx_ircam_pi2%5Bsh owUid%5D=3&cHash=1af41e7e66 http://bruno.cicv.fr/boulot/icare/icare2.html 41 http://wwwacroe.imag.fr/produits/logiciel/mimesis/mimesis.h tml 42 Projet de Marine Rouit conception et expérimentation supports physique d'interation Yiulia Samul expérimentation musicale Zheni Meria, Claire Moulin Encadrement 3D Virginie Sebbag. Le titre métaphorique évoque bien sûr la navigation, mais également le fait que la surface soit isolée sur la tablette comme un corps concret au milieu d’un océan de nombres. 38 http://recherche.ircam.fr/equipes/repmus/OpenMu sic/ 39 http://iannix.la-kitchen.fr/iannix.html 40 http://dh7.free.fr/otl/PTL_dh20040312.pdf Compte rendu du projet de recherche ENIGMES p.98 2006-2007 et différent pour chaque surface. Sur une même surface, des jeux de son, un mapping et des players différents donnent des résultats différents. Cette étape de construction est déterminante pour la qualité expressive du résultat. Une fois les jeux construits, l’instrument est jouable par quiconque, mais pour en tirer des résultats intéressants, il faut répéter. Le repérage topographique ne donne aucune indication quant aux contenus sonores et il appartient à l’interprète de se les approprier et d’en maîtriser précisément la gestuelle. Piège à Rêve44 Figure 4. Piège à rêve (music textile) Figure 2. Les îles 43: interface de jeu avec manipulation du stylet sur une surface (une île) composée de cercles concentriques propice aux mouvements circulaires. Sur chaque cercle est enroulée une séquence sonore différente. Piège à Rêve utilise une interface gestuelle textile carrée de 1,5 m de coté sensible à l’appui manuel qui renvoie via MIDI la position de la main en x,y. À la rencontre du monde du tissage, de la musique et de l’électronique, cet instrument est né de la volonté de travailler sur l'ergonomie des interfaces numériques. Grâce à sa taille et sa matière, cette interface donne une place plus importante aux gestes d'un utilisateur que les instruments électroniques existants. Conçue pour des musiciens comme instrument de scène, elle offre un accès intuitif à la composition en direct et à l’interprétation en concert des musiques électroniques et électroacoustiques. Nous avons disposé sur la toile des représentations actives des différents motifs sonores composant la pièce afin que l’interprète puisse jouer la pièce en déplaçant la main sur ces représentations avec toutes les nuances gestuelles et sonores nécessaires à l’interprétation. Figure 3. Les îles : surfaces de jeu. Chaque surface propose des formes privilégiant certains gestes, des distributions sonores, des règles de navigation, des modes de jeux différents. 44(ou Music Textile) Projet de Maurin Donneaud, Composition et interpretation musicale Marco Marini, Graphisme Laurent Herbet, Design interaction et visuel Maria Laura Mendez Marten, Chercheur associé : Vincent Rioux. Le titre, traduction approximative de dreamcatcher, exprime la volonté non d’arrêter les cauchemars, mais de capter le regard divagant des auditeurs. Le fait de changer de topologie (de surface de jeu) en conservant les mêmes sons affecte considérablement les possibilités expressives. Un travail de construction des jeux est indispensable 43 Les Iles : photos de Veronique Huyghe. Compte rendu du projet de recherche ENIGMES p.99 2006-2007 dimension. La navigation est contrôlée par un joystick. On définit des comportements graphiques et sonores : Chaque événement sonore est symbolisé par un objet graphique associé au type du son. Les formes et les textures de ces objets sont associées aux sons et aux comportements dynamiques, alors que les tailles et les couleurs dépendent des paramètres d’interprétation choisies par le joueur. Chaque évènement peut avoir différents comportements sonores en fonction de la navigation, du type de sons et des choix d’interprétations. Figure 5. Une partition jouable de la pièce de Marco Marini. Dans cet exemple, la partition est une simple exposition des motifs de la pièce. L’interprète mémorise le déroulement temporel. Le principe musical s’appuie sur un modèle figure sur fond, les fonds sont représentés par les 4 matières tramées à gauche de l’image. Figure 7. Les formes graphiques associées à différents types de sons, à gauche, peuvent prendre différentes couleurs et textures, à droite, selon les choix d’interprétation. Figure 6. Marco Marini en situation de concert Ce dispositif rencontre un vif succès auprès du public ; C’est un spectacle fascinant constituant une innovation pour l’interprétation en musique électroacoustique. Feuillage45 Feuillage est un projet de navigation dans une partition graphique 2D. Cet ouvrage s’attache tout particulièrement aux modalités d’interaction temporelles sur une interface écran en deux Figure 8. Modalités d’interaction dans Feuillage 45 Design Interaction et développement Matthieu Savary, Zeev Zohar, Emmanuel Debien Graphisme Catalina Quijano - Dev Virchor AnneCatherine Milleron, Benoit Montigné - Musique Eric Broitmann. Compte rendu du projet de recherche ENIGMES p.100 2006-2007 Le joueur46 est guidé par des trajectoires prédéfinies et évolutives : la composition originale constitue le fil conducteur modèle (aimanté) représenté sur une ligne droite. A chaque nouvelle interprétation on peut dévier de cette ligne et faire évoluer l’interprétation de la pièce d’une interprétation à l’autre. À la fin de chaque nouvelle interprétation, un tableau statistique est produit et confronté aux autres. Au début de chaque interprétation, on choisit de redéfinir la représentation selon différents critères. Au cours de la navigation des indications statistiques renseignent également le joueur sur le chemin le plus populaire, composition originale, les plus rapides (Figure 9)… Plumage est un dispositif de navigation sonore dans un espace de représentation en 3D composé d’un ensemble de plumes . Chaque plume est un petit objet visuel 3D déclenchant un échantillon sonore au passage de têtes de lecture. L’ensemble des plumes est généré et disposé à l’aide du programme de synthèse concaténative CatArt de Diemo Schwarz48. La synthèse concaténative consiste à découper une séquence sonore en un ensemble de grains et à répartir ces grains en fonction de plusieurs descripteurs sonores sélectionnés et affectés à une représentation graphique (x,y,z. couleur…etc) Une fois les représentations de ces grains disposés dans un espace navigable, ils sont rejoués par un ensemble de têtes de lectures animées. Il s’agit ici d’enrichir la navigation dans les grains de son par la navigation visuelle en 3D afin de catégoriser plus finement les sons en fonction de davantage de descripteurs qu’en 2D, mais également de tirer avantage de l'espace graphique 3D pour concevoir de nouvelles modalités de navigation et de rendu sonore. La navigation 3D temps réel est implémentée dans Plumage sur l'outil OpenSource d'interaction et de rendu graphique spatialisé Virtual Choreographer (VirChor). VirChor est développé au LIMSI-CNRS par Christian Jacquemin et s e s collaborateurs.49 Figure 9. Vue globale d’une maquette interactive simple de la pièce électroacoustique d’Eric Broitmann. Chaque feuille symbolise un événement sonore déclenché au passage du pointeur de navigation. Figure 11. Aspect visuel de plumage avec au loin en blanc les trajectoires des têtes de lecture. Les couleurs sont associées à l’échantillon sonore. Figure 10. Version Internet avec statistiques de navigation Plumage47 46 Le terme de joueur désigne ici celui qui joue la musique, l’interprète, l’utilisateur... La jouabilité est un critère important d’évaluation en musique comme dans les jeux ; ici, essentiel puisque les partitions navigables doivent faciliter l’accès à la musique…etc. 47Projet de Yoan Ollivier - Design Interaction et développement Ben Wulf, Svetlana Bogomolova, Adrien Aybes-Gille - Dev Virchor Rami Ajaj Chercheurs associés : Christian Jacquemin, Diemo Shwarz. Compte rendu du projet de recherche ENIGMES 48 http://recherche.ircam.fr/equipes/analysesynthese/schwarz/. 49 http://virchor.sourceforge.net/. p.101 2006-2007 Figure 14. Représentation schématique dans Max/MSP du fonctionnement de la librairie ENIGMES-Lib Figure 12. Maquette avec une tête de lecture composée de deux disques. Les plumes sont en rouge, le fil conducteur de la tête en orange. La programmation du système consiste a définir des figures repérées dans l’espace de navigation et à leur attribuer des comportements sonores. Cette opération comporte trois étapes: - les détecteurs chargés de détecter les coordonnées du pointeur dans une forme donnée. - la partie m a p p i n g permettant de relier les paramètres significatifs issus des détecteurs aux contrôles des paramètres sonores des générateurs. - les générateurs sonores chargés de produire les sons. Les interfaces utilisées La souris Données utilisées en sortie: x,y(position), clic (contact), delta (accélération) Figure 13. Maquette avec 3 têtes de lectures comportant chacune jusqu’à 3 déclencheurs. La tablette graphique Données utilisées en sortie: x,y(position), tiltx, tilty (orientation du stylet), contact, pression, présence sur la tablette OUtil informatique : ENIGMES-Lib Une notation active implique un travail graphique et une interprétation des actions relatives aux objets graphiques concernés. C’est la fonction de la librairie ENIGMES. L’interface textile (ou piège à rêve) Données utilisées en sortie: x,y(position), contact Nous avons développé une librairie d’abstractions Max/MSP (ENIGMES-Lib50) dédiée à la reconnaissance de la position d’un pointeur dans une forme prédéfinie. 1/Les détecteurs Ils permettent de connaître la position du pointeur (souris, stylet ou contact) à l'intérieur d'une surface Deux types de détecteurs : - Surfaces : rectang Surface rectangulaire à l’intérieur de laquelle on identifie : si on est dedans/dehors et la position x,y à l'intérieur du rectangle anneau 50 Roland Cahen, Jean-Philippe Lambert et la participation de Diemo Schwarz pour ftm-curve. Compte rendu du projet de recherche ENIGMES Surface circulaire ou annulaire: on identifie si on est p.102 2006-2007 dedans/dehors, la distance au bord intérieur ou au centre, un angle en valeur absolue (entre 0. et 1.), le nombre de tours effectués à partir du contact La recherche dans les écoles supérieures d’art La recherche dans les écoles supérieures d’art et de design est un développement normal de l’enseignement qui y est dispensé aujourd’hui. Le - Courbes de tracé projet historique du design est d’enraciner le monde contemporain dans l’art et inversement. Les objets 51 courbe ftm deviennent de plus en plus complexes et les véritables créateurs d’aujourd’hui sont les La courbe ftm est une courbe de forme libre, où tous chercheurs. Malheureusement, on n’enseigne encore les points sont enregistrés lors d’un parcours ni la création dans les grandes écoles et les d’enregistrement. En relecture, on identifie la position universités, ni la recherche dans les écoles d’art et du pointeur sur la courbe en valeur absolue, en de design. Les élèves designers accèdent fonction du temps d’enregistrement (entre 0. et 1.), le difficilement à des postes de conception dans les n° du point le plus proche sur la courbe, la distance domaines de hautes technologies et les scientifiques au point le plus proche sur la courbe, si on est sur la ne sont pas armés pour des projets créatifs et ne courbe ou non, si on est dans la région de la courbe sont confrontés à la question des usages que sur ou non. des bases de conception qui le plus souvent leur La librairie ftm offre plusieurs avantages pour réaliser échappent. Les projets interdisciplinaires sont rares ce type de détection par rapport à un patch Max et l’on se tourne le dos en attendant que l’autre traditionnel : l’utilisation des matrices permet de veuille bien reconnaître sa légitimité. La création ranger simplement toutes les positions des points de artistique appliquée peut pourtant apporter une aide la courbe, des les sauver avec le patch, d’en avoir un substantielle à des projets de recherches. Outre les nombre important. Pour la détection, on utilise l’objet recherches portant sur les domaines de l’art, elle mnm.manalahobis afin de retrouver facilement le peut permettre de développer des perspectives que point le plus proche. les chercheurs n’ont pas la possibilité d’étudier et d’envisager, des applications, des débouchés ou des formes de présentations impraticables dans le cadre 3/Les générateurs courant des projets de recherche. L’artiste et le designer sont des créateurs de sens, focalisés sur les grain player52 question d’appropriation et d’usage. Ils possèdent Permet de jouer un son enregistré par lecture des compétences approfondies dans les champs de granulaire (interpolation de plusieurs microboucles) la conception, scénarisation, modélisation, permettant de se déplacer dans le son sans altération communication. Les designers ont également un de la hauteur. Les principales commandes sont la solide savoir faire dans les méthodes de position dans le temps (0. 1.) la transposition développement des projets industriels. Grâce à de hauteur, le volume. tels apports, à condition que ces projets bénéficient d’un bon encadrement, il est possible de générer de scratch player nombreuses pistes de développement et d’adjoindre à ces projets des partenariats industriels. L’ENSCI Effet comparable au scratch de vinyl ou de bande dispose pour cela d’un encadrement pédagogique magnétique, c'est-à-dire la position du pointeur spécialisé dans les projets de conception industrielle. modifie directement la position temporelle dans le De tels dispositifs aux vertus pédagogiques son et la vitesse du mouvement modifie la hauteur du importantes peuvent donner aux étudiants l’occasion son. Les commandes sont la position dans le temps d’une initiation en vraie grandeur et une chance de et le volume. déboucher sur des contenus et des réalisations à l’échelle du monde contemporain. position player Une situation problématique Permet de jouer un son à sa vitesse normale en faisant simplement varier l'intensité en fonction de la vitesse du mouvement. Le premier point d’entrée en contact détermine le début de la lecture. Les principales commandes sont la position dans le temps (0. 1.) qui définit le début de la lecture, le volume et sa pente d’atténuation après le relâchement (release). La recherche dans les écoles supérieures d’art et de design se heurte à un problème de formation et de statut des enseignants. Les écoles supérieures d’art dépendent du Ministère de la Culture et pour l’ENSCI également du Ministère de l’Industrie. A l’heure actuelle, seules les universités et les écoles supérieures sous tutelle de l’éducation nationale sont habilitées à délivrer les diplômes de 3ème cycle. Cette situation constitue un frein considérable au développement de la recherche dans notre domaine. Les raisons sont principalement le fait de l’éducation nationale et universitaire : la non reconnaissance des diplômes d’enseignants artistiques, le refus de prendre en compte les ouvrages d’art comme valeurs pédagogiques comparables aux travaux écrits… mais également la désorganisation de la filière artistique et en particulier son manque de coordination au niveau européen. On peut également déplorer le manque d’enseignements scientifiques adaptés à nos écoles. Enfin, les enseignants y étant essentiellement simple player Un simple player de fichier audio dont les commandes sont : play, stop, volume. 51 FTM est une librairie objets de Max/MSP développée par l’équipe Applications Temps Réel de l’Ircam sous la direction de Norbert Schnell www.ircam.fr/ftm. 52 Ce générateur utilise l’objet sogs~ de Norbert Schnell. Compte rendu du projet de recherche ENIGMES p.103 2006-2007 vacataires, il est problématique de leur demander sérieusement de gérer des projets de recherche. Quant aux rares titulaires, ils n’ont pas d’heures consacrées à la recherche dans leur emploi du temps. À terme, il est probable qu’une nouvelle génération d’artistes universitaires viendra remplacer celle des artistes enseignants, ce qui ne serait pas un problème dans les pays où les enseignements universitaires donnent une expérience pratique incontestable, mais c’est rarement le cas en France. Une recherche collaborative portant sur des questions et des contenus définis et partagés Nous souhaitons faire prendre conscience à nos étudiants de l’éthique et des méthodes de la recherche, sous la forme de quelques règles simples, enseignées en première année universitaire dans les disciplines scientifiques mais qui ne le sont pas encore dans les écoles d’art :53 RÉFÉRENCES [1]. Plumage: Design d’une interface 3D pour le parcours d’échantillons sonores granularisés Christian Jacquemin. [2]. Visualisation 3D interactive : contrôle et intégration de l’audio Christian Jacquemin http://sic.sp2mi.univ-poitiers.fr/GTrendu/articles/Jacquemin.pdf [3]. Trends in Gestural Control of Music : Gesture – Music : Claude Cadoz Marcello Wanderley. Typology of Tactile Sounds and their Synthesis in Gesture-Driven Computer Music Performance : Joseph Butch Rovan Vincent Hayward. Mapping Strategies for Musical Performance : Andy Hunt Ross Kirk (2000, Ircam - Centre Pompidou) [4]. Concurent constraints models for interactive scores Allombert, G. Assayag, Desainte-Catherine, C. Rueda http://mediatheque.ircam.fr/articles/textes/Allombert0 6a Toute hypothèse est énoncée et vérifiée. Elle fait l'objet d'un développement théorique et d’une modélisation expérimentale. Toute expérience est validée soit par des mesures directes soit par le biais de tests utilisateurs. [5]. Un travail de recherche documentaire est mené avant ou pendant le projet et les sources sont explicitement citées. [6]. Un travail écrit et/ou une communication interne audio/visuelle descriptive accompagne chaque étape du développement du projet et précise les contributions du travail réalisé par rapport à l'état de l'art. [7]. Le contenu de la recherche est partageable, partagé avec les membres de l’équipe de développement et validé par les responsables scientifiques. Le travail est partagé le plus équitablement possible entre les membres de l’équipe selon les compétences et l’engagement de chacun. Les résultats font l’objet d’une communication et d’une publication sous la forme démonstrative la plus adéquate possible54. Musique Architecture (Casterman 1971) Iannis Xenakis Musique et arts plastiques : interactions au XXème siècle (Musique Ouverte MINERVE). Le Son et le Visuel (Dis-Voir) Jean-Yves Bosseur « é c r i t u r e s m u s i c a l e s » Mémoire de fin d’étude ENSAD Julie Linotte [8]. "Interfaces Multimodales : Concepts, Modèles et Architectures". Thèse de Doctorat, Université Paris XI, Orsay, 1995 Y. Bellik [9]. PHASE Project (Les journées du design Jean-Philippe Lambert sonore2004) http://mediatheque.ircam.fr/articles/textes/Lambert04a / [10]. Chion l’Audio-vision (Nathan Université) Michel [11]. Music Listening: What is in the Air ? Interactions réflexives : du « c’est marrant » aux machines à Flow François Pachet Conclusion La notion de partition navigable est très prometteuse bien que sa mise en œuvre reste encore à ce jour encore complexe et les questions posées sont loin d’être résolues. Les 4 métaphores développées montrent néanmoins des formes et des usages intéressants et différenciés. Parmi les métaphores explorées, certaines sont artistiques, d’autres utilitaires, d’autres portent sur des problématiques plus fondamentales, enfin certains travaux explorent des champs improbables mais tout à fait intéressants et dont les débouchés sont plus difficiles à repérer. Les réalisations du projet ENIGMES montrent l’intérêt de ce genre de projet sur un plan pédagogique comme du point de vue de la recherche. Des résultats artistiques de grande qualité peuvent être également au rendez-vous. 53 Nous listons ici ces règles à l’intention des étudiants et enseignants des écoles d’art. 54 Sauf NDA dans le cas de partenariat de développement. Compte rendu du projet de recherche ENIGMES p.104 2006-2007 Les pages web du projet http://projetenigmes.free.fr/ Le wiki du projet http://www.ensci.com/design-creationindustrielle/enseignement/domaines-denseignement/2/studio-sonore/ La page du projet sur le site de l’ENSCI http://perso.orange.fr/roland.cahen/ Page perso de Roland Cahen http://xyinteraction.free.fr/ Le site de XY interaction de Maurin Donneaud http://www.interface-z.com/ Partenaire pour la réalisation électronique de l’interface http://smallab.com/feuillage/ Le site de l’ouvrage Feuillage http://www.indirections.net/testing/enigmes/ Le site de test de Benoit Montigne application en l’état (non finalisé) http://www.indirections.net/testing/feuillage/ http://www.msavary.fr/ Page perso de Matthieu Savary http://kataki.net/ Page perso de Katalina Quijano http://www.limsi.fr/ LIMSI http://www.limsi.fr/Individu/jacquemi/ Page de Christian Jacquemin http://www.ircam.fr/ Ircam http://recherche.ircam.fr/equipes/analysesynthese/schwarz/ Page de Diemo Schwarz http://www.lesyeuxfermes.com/ Journal sonore de Marine Rouit Le DVD Réalisation Matthieu Foulet Un résumé audiovisuel du projet de 20 minutes expliquant les grandes lignes du projet et présentant des vidéos des démonstrateurs Sur demande roland.cahen@ensci.com Compte rendu du projet de recherche ENIGMES p.106 2006-2007