Laboratoire Sciences Et Technologies De La Musique Et Du Son (STMS) UMR 9912 Le Mot De La Direction

Laboratoire Sciences et technologies de la musique et du son (STMS) UMR 9912 Le mot de la direction

Les activités de recherche accueillies à l’Ircam s’inscrivent dans le cadre de l’unité mixte de recherche (UMR 9912) Sciences et technologies de la musique et du son (STMS), associant aux côtés de l’Ircam le CNRS, Sorbonne Université et le ministère de la Culture. Le nouveau contrat quinquennal 2019-2023 vise à répondre à plusieurs défis : l’intégration de la recherche artistique dans les structures universitaires et la montée en puissance des thématiques art-science (avec, par exemple, la création des doctorats en arts) ; la restructuration du paysage parisien de la recherche ; la lisibilité et l’accroissement de l’attractivité de l’unité ; l’évolution de l’éco- système d’innovation français et le renouvellement apporté par les nouvelles méthodes de l’intelligence artificielle. L’activité de recherche à STMS est portée par sept équipes et se dis- tribue sur trois axes structurants : l’atelier du son, le corps musicien et les dynamiques créatives. L’UMR s’appuie pour les aspects contractuels et d’innovation sur le département IMR de l’Ircam (Innovation et Moyens de la recherche, sous la responsabilité d’Hugues Vinet) avec en particulier la création par l’Ircam d’un nouvel instrument de valorisation, la filiale Ircam Amplify, qui permettra une diffusion plus large des technologies issues du laboratoire. Enfin, j’ai le plaisir de souligner que depuis le début du contrat quinquennal, STMS a accueilli 4 nouvelles ERC, ainsi que 4 nouveaux projets ANR, un résultat remarquable qui témoigne de la grande dynamique du laboratoire.

Brigitte d’Andréa-Novel Directrice de l’UMR 9912, novembre 2020

Sommaire

7 Le laboratoire 8 Organigramme 9 Missions 10 Organisation et enjeux scientifiques 13 Liens institutionnels 14 Innovation et moyens de la recherche 15 Collaborations de recherche et partenariats récents

17 Les équipes 18 Systèmes et signaux sonores : audio/acoustique, instruments (S3AM) 19 Espaces acoustiques et cognitifs (EAC) 20 Perception et design sonores (PDS) 21 Analyse et synthèse des sons (AS) 22 Interaction son musique mouvement (ISMM) 23 Représentations musicales (RepMus) 24 Analyse des pratiques musicales (APM)

25 Les projets 26 C1. L’atelier du son 36 C2. Le corps musicien 46 C3. Les dynamiques créatives

63 Les logiciels 64 ADMix Tools 65 Antescofo 66 CataRT 67 IrcamLab TS 68 Max 69 Modalys 70 MuBu pour Max 70 OMax & co 71 OpenMusic 72 Orchid* 73 OSCar 74 Panoramix 75 Spat~ 76 Suivi de geste et de formes temporelles 76 SuperVP, Trax et bibliothèques 77 The Snail-Absolute Tuning

78 Le Forum Ircam

79 Les équipes

1 Le laboratoire

7 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Organigramme

Directrice B. d’Andréa-Novel Directeur adjoint J.-L. Giavitto

Gestionnaires Pôle Ingénierie et prototypage A.-M. Vaudeville, CNRS Resp. E. Fléty V. Uscumlic, Ircam

Coordination Mission recherche-création S. Benoit Resp. M. Noisternig

Système et signaux sonores : Espaces acoustiques et cognitifs Perception et design sonores Analyse et synthèse des sons audio/acoustique, instruments Resp. O. Warusfel Resp. N. Miisdariis Resp. A. Roebel Resp. T. Hélie

Interaction son musique Analyse des pratiques Représentations musicales mouvement musicales Resp. G. Assayag Resp. F. Bevilacqua Resp. N. Donin

8 Le laboratoire

Missions

Depuis sa création en 1977, l’Ircam a pour mission fondamentale de de thèses de doctorat, de stages de master et d’écoles d’ingénieurs susciter une interaction féconde entre recherche scientifique, déve- contribue à la formation par la recherche. Les compétences ainsi déve- loppement technologique et création musicale contemporaine. Cette loppées trouvent de nombreuses applications au-delà des probléma- articulation constitue le principal axe structurant de l’ensemble de ses tiques musicales, et font l’objet de projets réalisés en collaboration avec activités. L’un des enjeux majeurs est de contribuer, par les apports des industriels ou dans le cadre de programmes nationaux, européens des sciences et techniques, au renouvellement de l’expression musi- et internationaux. cale. Réciproquement, les problèmes spécifiques posés par la création contemporaine donnent lieu à des avancées scientifiques originales, Le développement effectue l’adaptation des connaissances, modèles et tant théoriques, méthodologiques, qu’appliquées, dont la portée dépasse prototypes issus de la recherche sous la forme d’environnements logi- largement le seul domaine musical. Cette dynamique de recherche ciels et d’outils technologiques. Les principales applications visent la originale, tournée vers la création artistique dans toute l’exigence et réalisation d’outils pour la création musicale, à travers la mise en œuvre la sensibilité qui s’y manifestent pour des modes de représentation et d’environnements ouverts et programmables, afin de pouvoir répondre à de manipulation élaborés du sonore et du musical, suscite des innova- des approches esthétiques très diverses, et d’intégrer les modèles issus tions scientifiques et technologiques dont les applications se déploient des travaux de recherche au fur et à mesure de leur avancement. Des dans des secteurs d’activité de plus en plus larges : professionnels de la versions simplifiées des logiciels, destinées à des cibles d’utilisateurs musique et du son, industrie, enseignement, public mélomane… Cette plus larges, rendent accessible la technologie produite dans le labora- médiation entre recherche et création musicales comporte en particulier toire sous forme de collections de produits : Ircam Tools (professionnels le développement d’outils logiciels et technologiques pour les musiciens de l’audio), IrcaMax (musique électronique live), etc. Le Forum Ircam, (compositeurs, interprètes, musicologues), à partir de modèles et pro- club d’utilisateurs des logiciels, favorise leur diffusion auprès d’une totypes élaborés par des équipes de recherche travaillant dans les dif- communauté internationale de professionnels de la musique et du son férents domaines en rapport avec la musique : informatique (langages, (compositeurs, artistes multimédia et plasticiens, ingénieurs du son, interfaces homme-machine, temps réel, bases de données), traitement sound designers, chercheurs, enseignants…), évaluée à près de 20 000 du signal et automatique, acoustique, perception et psychologie cogni- utilisateurs depuis sa création. Des cessions de licences sont également tive de l’audition, musicologie… accordées à des partenaires extérieurs, pour leur utilisation propre ou pour la commercialisation des logiciels. Elles peuvent porter sur des Les travaux reposent ainsi sur l’articulation de deux types d’activités applications complètes (telles que le logiciel Max licencié à la société complémentaires, la recherche et le développement, réalisées dans californienne Cycling’74 et comportant plusieurs milliers d’utilisateurs le cadre de l’unité mixte de recherche Sciences et technologies de dans le monde) ou sur des modules fonctionnels particuliers (analyse la musique et du son (UMR 9912 – STMS) soutenue par le CNRS, le et traitement audio, indexation, spatialisation, synthèse, etc.), intégrés ministère de la Culture et Sorbonne Université. dans les environnements commerciaux cibles. La recherche, source d’innovation, vise l’élaboration de connaissances en rapport avec les problématiques musicales. Interdisciplinaire par nature, elle inscrit son activité sous la forme de nombreuses collaborations avec des laboratoires français et étrangers, avec des orga- nismes d’enseignement supérieur et avec des partenaires institutionnels et privés. L’accueil d’élèves-chercheurs et ingénieurs dans le cadre

9 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Organisation et enjeux scientifiques

Pour répondre à cette mission, le laboratoire est structuré en sept Le projet scientifique de l’UMR s’appuie sur ces 7 équipes qui s’orga- équipes qui se caractérisent par leurs ancrages théoriques et les objets nisent autour de 3 champs d’interaction : étudiés : • L’atelier du son ; • S3AM (Systèmes et signaux sonores : audio/acoustique, instru- • Le corps musicien ; ments) mobilise mathématiques appliquées (signal, système, • Les dynamiques créatives. contrôle, géométrie différentielle, analyse numérique), physique et mécatronique pour explorer, comprendre, reproduire ou inventer des C1. L’atelier du son systèmes multiphysiques produisant des signaux sonores (instru- Le son est ici compris comme un phénomène physique (mécanique, ments de musique, voix) ; acoustique) mais aussi comme une information numérique engageant • EAC (Espaces acoustiques et cognitifs) s’appuie sur l’acoustique, des techniques mathématiques et informatiques (traitement du signal) le traitement du signal, la psychologie cognitive de l’audition et les pour traiter des flux, des contenus et des scènes sonores, musicales, ou neurosciences pour la captation, l’analyse et la reproduction de multimédia. champs sonores et l’étude et la compréhension de la perception Le signal audionumérique est abordé sous ses deux aspects de source spatiale du son en contexte d’interaction multisensorielle ; et de champs. En tant que source, nous le caractérisons ou bien nous • PDS (Perception et design sonores) adresse la perception des sons le synthétisons, avec des contraintes de précision, de finesse et de qua- vocaux, musicaux et environnementaux, leur traitement émotionnel lité à même de répondre à l’exigence de la création contemporaine. Nos et les applications en design sonore à travers la psychoacoustique, recherches se focalisent donc sur les spécificités du signal musical et la psychologie, la cognition musicale et les neurosciences ; nous amènent à développer des modèles plus précis en les informant par • AS (Analyse et synthèse des sons) étudie le signal audionumérique la physique, la biomécanique, la perception et la cognition, ou encore en utilisant des théories et techniques de traitement du signal, des données musicales symboliques… L’extraction de descriptions plus statistique, apprentissage et reconnaissance des formes pour en symboliques, sémantiquement pertinentes, et le contrôle des modèles extraire toutes sortes de caractéristiques, pour le synthétiser selon par des données qualitatives de haut niveau (par exemple, la prosodie des propriétés spécifiées, ou encore pour le transformer en fonction dans le cas de la synthèse de la voix chantée) sont deux des objectifs du de besoins compositionnels ou autre. laboratoire dans ce domaine. En tant que champs, nos études visent à • ISMM (Interaction son musique mouvement) focalise ses recherches comprendre ses représentations spatiales et les coupler avec les repré- sur l’interaction « incarnée » (embodied interaction) entre humains sentations temps/fréquence, à capter ce champ avec une grande résolu- et médias sonores et musicaux : captation du geste, programmation tion, et à le reconstruire de manière réaliste. réactive et temps réel, apprentissage, interface tangible et multimodale, techniques de synthèses sonores ; C2. Le corps musicien • RepMus (Représentations musicales) travaille sur les structures Le domaine visé est celui de la musique et du son perçus et produits par formelles de la musique et les environnements créatifs pour la com- des humains qui interagissent avec un environnement, une machine ou position, l’analyse et l’interaction musicien-machine à partir d’archi- d’autres êtres humains. Le sonore ne se réduit plus à une vibration, mais tectures et d’approches langages, de formalismes algébriques, et de devient un véhicule permettant l’interaction, qui est produit par un corps techniques d’IA telles que l’optimisation et l’apprentissage ; biologique et qui agit sur les individus et les comportements. Ce domaine • APM (Analyse des pratiques musicales) développe une musicologie est abordé en se positionnant sur quatre problématiques : le geste, la interdisciplinaire des œuvres et des pratiques musicales contempo- voix, la perception spatiale du son et son intégration multisensorielle, raines, en considérant les points de vue historique, sociologique, en étudiant les liens entre contenus sonores ou musicaux et valence anthropologique, psychologique, philosophique et en privilégiant émotionnelle. des approches « outillées », souvent en lien avec les autres équipes de l’UMR.

10 Le laboratoire

C3. Les dynamiques créatives Malgré la diversité des travaux menés, le laboratoire possède une iden- Si la musique est un phénomène produit et perçu par un corps qui tire tité et une visibilité fortes à la fois du point de vue de ses objets d’études parti des objets physiques et qui organise un monde sonore, elle est et de son positionnement scientifique.Trois principes importants qui aussi pensée, imaginée – ou rêvée – et parfois formalisée avant d’être caractérisent la politique scientifique de l’UMR concourent à cet état réalisée. La question de la créativité émerge aujourd’hui comme une de fait, pallient la faible masse critique des équipes et permettent au problématique scientifique1 et comme un paradigme de travail utile pour laboratoire de produire des contributions scientifiques marquantes et de la conception de systèmes intelligents. Contrairement à ce que pourrait développer des outils innovants. laisser penser une analyse superficielle des nouvelles directions prises par l’IA2, le défi ne nous semble pas tant être celui de l’imitation que 1. Adossement recherche-création celui du compagnonnage : quelles sont les idées et les outils nécessaires Le premier principe est l’adossement des thématiques de recherche à pour inspirer, guider et assister l’artiste dans son processus de création la création musicale contemporaine dans une interaction féconde3. Cet et faire ainsi de la machine un partenaire. adossement permet une grande diffusion des résultats de recherche. Nous opposons donc ici une approche qui vise à remplacer l’homme en L’interaction recherche-création est soutenue par plusieurs dispositifs rendant la machine autonome et celle qui vise à augmenter les capacités récurrents. Nous en citerons quatre. humaines. On peut alors parler d’intelligence augmentée. • Les équipes de l’UMR participent aux productions artistiques de Dans le domaine artistique, la première approche peut éventuellement l’Ircam, soit directement, soit à travers les réalisateurs en infor- amener à éclairer les mécanismes qui sont remplacés, mais la seconde matique musicale (RIM) qui servent de courroie de transmission ouvre quant à elle des dimensions créatives inédites susceptibles de entre les artistes et les prototypes et les outils élaborés dans le renouveler profondément la relation science-musique. laboratoire. Leur rôle est essentiel pour adapter les temps longs de S’appuyant sur un de nos atouts majeurs – notre intimité avec la créa- la recherche au temps nécessairement plus limité des productions tion musicale –, les travaux de STMS visent à éclairer et documenter le artistiques. processus créatif chez des compositeurs ; à formaliser, analyser, calculer • Les projets de résidence en recherche artistique permettent aux et produire des structures symboliques musicales en interaction avec équipes d’interagir avec un créateur qui propose un projet de les visées des créateurs ; à développer de nouveaux outils d’écriture recherche et vient en résidence à l’Ircam pour une durée d’un à adressant les enjeux contemporains de la notation ; et à appréhender les trois mois. Ces projets, détachés du contexte et des contraintes de dispositifs assistant la création collective. production, permettent de développer un travail en amont. Depuis 2012, 49 résidences ont été sélectionnées par un appel international Ces trois champs assurent ainsi une lisibilité de notre recherche et annuel via la plateforme du réseau ULYSSES4. La plupart des artistes couvrent l’ensemble de nos activités, puisqu’ils adressent le monde en résidence sont étrangers et la moitié des projets impliquent au sonore et musical dans sa dimension physique et numérique, sa per- moins deux équipes. ception et sa production par un sujet humain, en lien avec les enjeux de • Apparu en 2013, le dispositif des thèses en art permet de développer création et de créativité. une interaction sur un temps long avec un artiste qui poursuit un Parmi ces sujets d’étude, mentionnons quelques focus ou objets d’étude travail de thèse à plein temps. Ce type de doctorat permet d’arti- que nous souhaitons investiguer avec une attention plus particulière culer finement pratique artistique et approche théorique d’une part, dans les prochaines années : recherche et création d’autre part. • La modélisation multiphysique • Enfin, les interactions recherche/création sont ancrées dans des • Le geste expressif expert rencontres avec des individus porteurs de leurs problématiques • Les CP&HS (Cyber Physical & Human Systems) singulières. Pour développer un dialogue plus large avec la com- • L’apport des neurosciences, sciences cognitives et les liens avec la munauté des compositeurs, et repérer plus systématiquement les santé thématiques émergentes, l’Ircam a expérimenté en 2017 des jour- • IA et créativité musicale nées de rencontres et d’échanges. Ces journées « Méridien » sont • Les nouvelles dimensions de la notation musicale appelées à être renouvelées.

1. Voir les nouvelles conférences internationales « Digital Intelligence (#DI)», « Musical 3. Ce modèle d’interaction, dans lequel l’Ircam a été pionnier, est aujourd’hui reconnu MetaCreation (MUME)», « International Conference on Computational Creativity et s’impose avec par exemple le projet H2020-ICT Vertigo (Adding socio-economic (ICCC) » auxquelles STMS participe régulièrement depuis leur fondation, ou encore value to industry through the integration of artists in research and open innovation l’initiative européenne FET « Creative ICT » qui a financé cinq projets en 2016. processes) qui a débuté fin 2016 porté par l’Ircam : vertigo.ircam.fr/ 2. Comme le projet Magenta développé par Google : « [how to develop] algorithms that 4. www.ulysses-network.eu can learn how to generate art and music. »

11 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

2. Un aller-retour entre applications finalisées et réflexions théoriques Le deuxième principe qui caractérise la stratégie scientifique de l’UMR est de toujours valider les réflexions théoriques par des développements qui sont utilisés en dehors des équipes et, à l’inverse, d’étayer les déve- loppements applicatifs par une réflexion épistémologique ou théorique. Dans cet aller-retour, l’application logicielle ou matérielle agit dans le laboratoire comme un indispensable dispositif expérimental. Les prototypes développés par les chercheurs le sont souvent dans le cadre de projets collaboratifs, ce qui entraîne leur utilisation par des partenaires extérieurs et aussi dans les productions artistiques, confrontant les résultats du laboratoire aux exigences du compositeur et à son oreille aguerrie. Au-delà de l’expérimentation à travers les projets artistiques propre à l’Ircam, les logiciels atteignent aussi un public plus large à travers le Forum Ircam1 qui fait l’objet d’une coordination transversale à l’Ircam (plus de 20 000 membres professionnels dans le monde).

3. Un très large ancrage national et international Le troisième principe est celui d’un ancrage fort du laboratoire dans le paysage national et international de la recherche au plus haut niveau, dans toutes les communautés scientifiques auxquelles sont rattachées les différentes équipes de recherche. Ce point fait l’objet du paragraphe suivant.

1. forumnet.ircam.fr

12 Le laboratoire

Liens institutionnels

L’UMR s’appuie sur les liens naturels et diversifiés entre ses équipes Le laboratoire est également associé à une chaire d’excellence de la de recherche mais tire aussi parti de l’ancrage de ses membres au sein Fondation Sorbonne Université, MouVIE, sur la mobilité et la qualité de d’une communauté régionale, nationale et internationale. En atteste en vie en milieu urbain, financée par PSA/Renault jusqu’en 2020. particulier le grand nombre d’invitations des chercheurs du laboratoire (séminaires, conférenciers invités), leur participation dans les comités de Au niveau international, l’UMR entretient des liens réguliers avec les programme et les conférences et colloques qu’ils ont initiés ou organisés. centres internationaux de recherche en informatique musicale les plus prestigieux, comme le CCRMA à Stanford University, le CNMAT à Au niveau national, STMS est le seul laboratoire de recherche inscrit UC Berkeley, le MIT Medialab à Boston, le CIRMMT à McGill University, dans l’accord-cadre Culture-CNRS 2016-2020 dans le domaine musical1. ou encore en Europe le MTG à l’UPF Barcelone, le département SPA de l’Aalto University à Helsinky et le C4DM à Queen Mary University Au niveau régional, le laboratoire est partenaire du parcours de master (chercheurs invités, échange de doctorants, montage de projets com- de recherche (M2) ATIAM (Acoustique, traitement du signal et infor- muns5). Le laboratoire s’est aussi rapproché d’autres grands centres matique appliqués à la musique, parcours Systèmes et applications universitaires avec des workshops dédiés organisés aux universités de réparties), accueilli et coordonné par l’Ircam dans le cadre du master Singapour, Columbia, NYU New York et Abu Dhabi, Campinas, Sao Paulo, Sciences et technologie de Sorbonne Université, en collaboration avec Shanghai, et à l’EPFL. Télécom ParisTech. Le laboratoire est aussi partenaire du master Design Sonore coorganisé avec l’EPCC – École supérieure des beaux-arts Tours Angers Le Mans, l’université du Maine et l’ENSCI – Les Ateliers. Ces deux formations n’ont pas d’équivalent sur le territoire français. Au niveau international, les cursus comparables sont plutôt orientés « Music Technology » et, inscrits dans des facultés de musique, s’adressent plutôt à des étudiants dont la formation initiale est la musique. Les membres du laboratoire interviennent aussi ponctuellement dans plusieurs autres masters (Grenoble, Strasbourg, Marseille).

STMS est un laboratoire d’accueil des écoles doctorales de Sorbonne Université dans ses domaines de compétence, en particulier EDITE (École doctorale d’informatique, télécommunications et électronique de Paris), SMAER (Sciences mécaniques, acoustique, électronique et robotique) et ED3C (Cerveau, cognition, comportement). Dans le cadre de la ComUE Sorbonne Universités et de l’Idex SUPER, une nouvelle filière doctorante destinée aux compositeurs et intitulée Doctorat de musique – Recherche 1. Voir goo.gl/jmr9BE Deux autres UMR hébergent des programmes soutenus par le en composition, a vu le jour à la rentrée universitaire 2014. MCC sans que le ministère soit une cotutelle : le LaBRI pour l’hébergement du Studio de création et de recherche en acoustique musicale (SCRIME) et le LAM pour le pro- 2 L’Ircam est membre fondateur du Collegium Musicæ, institut qui mène gramme documents et archives sonores et les travaux du GIS-SPADON. une action structurante au sein de la ComUE Sorbonne Universités. Trois 2. Avec 8 autres acteurs majeurs de l’éducation et de la recherche musicale : IReMus, axes thématiques sont couverts : analyse & création, instruments & Institut de recherche en musicologie (UMR 8223 - CNRS - Paris-Sorbonne - BnF - MCC) ; LAM, Lutheries, Acoustique, Musique - Institut Jean le Rond d’Alembert (UMR interprètes et archive & patrimoine. 7190 - CNRS – Sorbonne Université – ministère de la Culture) ; Musée de la musique, L’UMR 9912-STMS participe à deux Laboratoires d’Excellence (LabEx) : Cité de la musique - Philharmonie de Paris : Centre de recherche sur la conserva- • le LabEx SMART3 qui se focalise sur les interactions Humains- tion (USR 3224 - CRCC - LRMH - ECR Musée de la musique) ; Unité systématique et catégorisation culturelles (UMR 7206 - CNRS - MNHN - Paris 7) ; Pôle Supérieur Machines et qui réunit cinq laboratoires de Sorbonne Université Paris-Boulogne-Billancourt (PSPBB) ; Chœur & Orchestre Sorbonne Universités ainsi que Télécom ParisTech et le LUTIN (laboratoire sur les usages (COSU) ; UFR Musique et musicologie (Paris-Sorbonne) ; UFR d’Ingénierie (Sorbonne associés à la Cité des sciences et de l’industrie). Université). • le LabEx CAP4 à travers l’équipe APM (Analyse des pratiques musi- 3. Les laboratoires SU du LabEx SMART sont l’ISIR, le LIP6, le laboratoire Jacques Louis Lions, le L2E et STMS : www.smart-labex.fr/ cales). CAP étudie les arts, la création et les patrimoines pour com- 4. Le LabEx CAP labexcap.fr regroupe dix-sept laboratoires universitaires et d’ensei- prendre et accompagner les mutations de la société contemporaine gnement supérieur (émanant de : l’EHESS, l’EPHE, le CNAM, l’ENC, l’ENSCI, l’ESCP dans un contexte de mondialisation économique et culturelle. Europe, l’ENSAPLV, l’INHA, l’INP, l’Ircam, le LCPI ParisTech, l’université Paris 1 Panthéon-Sorbonne) et huit établissements patrimoniaux et muséaux (BnF, Musée du Louvre, Centre Pompidou, musée du quai Branly – Jacques-Chirac, Musée des Arts décoratifs, Musée des Arts et Métiers, Sèvres – Cité de la céramique, La Cité de l’architecture et du patrimoine. 5. Ces projets sont financés de manières diverses : par exemple contrat bilatéral et financement INRIA international, bourse Fullbright, programme international canadien, projets européens, etc.

13 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Innovation et Moyens de la recherche

Au cœur d’enjeux sociétaux et économiques croisant culture et techno- Spécificité de l’Ircam, la culture dedéveloppement technologique pro- logies de l’information, les recherches accueillies à l’Ircam se présentent fessionnel intégré à ses équipes de recherche aboutit à la production dans le paysage international de la recherche comme pôle de référence finalisée de modules fonctionnels optimisés, directement transférables. interdisciplinaire autour des sciences et technologies du son et de la Plus globalement, cette activité de développement se traduit par diverses musique et s’exposent en permanence aux nouveaux besoins et usages de formes de réalisation adaptées aux différentes catégories de cibles visées. la société. Cette médiation prend diverses formes en fonction des cibles Plus d’une dizaine d’environnements logiciels sont ainsi développés au et sphères d’activité concernées et est portée par le département IMR – sein des équipes (cf. Partie 4), perfectionnés de manière incrémentale en Innovation et Moyens de la recherche de l’Ircam qui est également en fonction des dernières avancées de la recherche, utilisés par les autres charge de la tutelle Ircam de l’UMR STMS et des infrastructures web et départements de l’Ircam pour leurs activités de production artistique informatiques de l’Ircam. et de formation (compositeurs, réalisateurs en informatique musicale, ingénieurs du son, instrumentistes, danseurs…) et diffusés dans le cadre La spécificité de l’Ircam est de réunir un large spectre de compétences du Forum Ircam auprès d’une communauté internationale de plus de scientifiques et technologiques, qui trouvent des applications dans de 20 000 utilisateurs professionnels. Des applications simplifiées dans leur nombreux secteurs d’activité, centrés sur la production et la diffusion usage en sont dérivées sous forme de produits logiciels dans le cadre de de la musique, du son, des arts numériques, des industries culturelles et différentes collections commerciales : Ircam Lab avec Plugivery, Ircam rayonnant dans tous les domaines faisant intervenir la dimension sonore : Tools avec Flux::, IrcaMax avec Ableton. design sonore (automobile, transports, environnement urbain), interfaces multimodales, réalité virtuelle et augmentée, simulation, etc. Fort de son L’Ircam est agréé par le ministère de la Recherche et de l’Enseignement savoir-faire de plusieurs décennies sur le management de l’innovation et supérieur au titre du Crédit Impôt Recherche et les prestations effectuées de la créativité collective, l’Ircam est également consulté sur ce thème par ses équipes pour le compte de partenaires privés bénéficient d’avan- par des directions de grands groupes (innovation, marketing, ressources tages fiscaux. Les liens avec l’industrie s’inscrivent dans de nombreux humaines, communication…). cadres de collaboration : projets de R&D nationaux et européens, fruits des recherches de l’UMR (une vingtaine en cours, dont un tiers coordonné Le modèle art-innovation de l’Ircam est étendu à tous les champs tech- par l’UMR), prestations de recherche, co-encadrement de thèses CIFRE, nologiques et artistiques dans le cadre de l’initiative STARTS1 (Science, accompagnement à la création de jeunes pousses (Phonotonic, Mogees, Technology and the Arts) de la Commission européenne : après avoir Niland (rachetée par Spotify en 2017), Antescofo et HyVibe parmi les plus coordonné le projet européen VERTIGO-STARTS Residencies organisant 45 récentes), prises de participation et cessions de licences. La fondation en résidences d’artistes en lien avec des projets de recherche technologique 2019 d’Ircam Amplify3, filiale de l’Ircam avec le soutien de la Banque dans toute l’Europe, l’Ircam participe aux projet STARTS Ecosystem et des Territoires et d’investisseurs privés, constitue un nouveau momentum MediaFutures appliquant la méthodologie de STARTS Residencies pour d’intensification de la diffusion commerciale des technologies et expertises la préfiguration de médias innovants faisant appel à de grandes bases de de l’Ircam. données informationnelles.

Ce modèle s’expose dans le cadre du Forum annuel Vertigo2, symposium interdisciplinaire organisé au Centre Pompidou dans le cadre de l’événe- ment Mutations Création, associant artistes, chercheurs, ingénieurs et acteurs de l’innovation autour des enjeux actuels de la création artistique dans son rapport aux sciences et technologies.

1 starts.eu 2 vertigo.ircam.fr 3 ircamamplify.com

14 Le laboratoire

Collaborations de recherche et partenariats récents

3D for All Kft (Hongrie) France Télévisions Orbe A-Volute Fratelli Piacenza SpA (Italie) OSU Ecce Terra Ableton (Allemagne) Fraunhofer (Allemagne) Parisson Acapela GENESIS (Genesis Acoustics) Parrot Arkamys Goldsmiths’ College (Royaume-Uni) Pathé Arte Grame Philharmonie de Paris Artipolis Haute École de musique de Genève (Suisse) Phonotonic Artshare (Belgique) HearDis! Corporate Sound GmbH (Allemagne) Playground (Suède) Athena Research Center (Grece) I3S pluX - Wireless Biosignals SA Athens Technology Center (Grèce) ID Scenes PSA Peugeot Citroën b<>com Inova+ (Portugal) Qwant Bass Nation (Finlande) Inria Radio France Bayerischer Rundfunk (Allemagne) Inserm-Sorbonne Université-faculté de médecine Reactable Systems (Espagne) BBC (Royaume-Uni) Institut Jean Le Rond d’Alembert Renault Bmat (Espagne) (Sorbonne Université) Sigma-Orionis Buffet-Crampon Instituts de recherche technologique Sky-Deutschland (Allemagne) Cabrilog (France) INTEGRAL Markt – und SNCF Centre de psychiatrie et neurosciences Meinungsforschungsges.m.b.H. (Allemagne) Somethin’Else Sound Directions Ltd (Royaume-Uni) (Inserm-université Paris Descartes) IreMus Soundtrack Your Brand (Suède) Centre de recherche de l’Institut du cerveau et ISAE SUPAERO StreetLab de la mœlle épiniere (UMR 7225) ISIR Stromatolite Innovation Lab (Royaume-Uni) Centre hospitalier universitaire de Nice IUAV (Italie) Stupeflix Centre interfacultaire des sciences affectives (Suisse) Kainos (Royaume-Uni) Supelec CHU La Conception-Marseille Kantar Media Technicolor CHU-Liège (Belgique) KTH (Suède) Technische Universität Berlin (Allemagne) CNES Laboratoire de neurophysique et physiologie Technische Universität Wien (Autriche) CNMAT-UC Berkeley (UMR 8119, universite Paris-Descartes) Testaluna (Italie) CNRS Telecom ParisTech Laboratoire des sciences, des procedes et Trinity College Dublin (Irlande) Conservatoire national supérieur de musique et des materiaux de l’universite Paris-13 Trinnov-Audio de danse de Paris LaBRI Ubisoft CTEL LAGEP UC Limburg (Belgique) Culture Tech Lambde Limited (Roli) Universal (Royaume Uni) Dassault Systèmes LATMOS Universal Music Publishing Classical Deezer Libelium Comunicaciones (Espagne) Université Ben Gurion (Israël) Deutsches Forschungszentrum für Künstliche LIMSI Université de Bretagne occidentale Intelligenz (Allemagne) LMA Universite de Fribourg (Suisse) Dualo Lovemonk S.L. (Espagne) Université de Genes (Italie) Dubbing Brothers LPL Universite de Thessalonique (Grèce) École de musique Schulich (Canada) LRI Universite de Zaragoza (Espagne) École polytechnique féderale de Lausanne (Suisse) Magix (Allemagne) Université Kiel(Allemagne) ECR-Musée de la musique Maha Universite McGill (Canada) EHESS Makemusic Université Pompeu Fabra (Espagne) elephantcandy (Pays-Bas) Mathematics for more (Espagne) UVI Sounds and Software Ellinogermaniki Agogi (Grece) Mogees Velti (Grèce) EMI Musée du Quai Branly – Jacques-Chirac Vi-live EMPAC (États-Unis) Musimap (Belgique) Vizion’r Ensad Niland Xtranormal esba TALM No Design Eurecom Sophia Antipolis Nokia (Finlande) Eurescom Novelab FINCONS SpA Novespace Flux :: Open University (Royaume-Uni) Flying Eye (Allemagne) Orange

2 Les équipes

17 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Équipe Systèmes et signaux sonores : audio/acoustique, instruments (S3AM) Responsable : Thomas Hélie

Activités — L’equipe Systemes et signaux sonores : Audio/acoustique, instruments • Projet Ondes Martenot, p. 29 elabore des outils theoriques, technologiques et experimentaux portant • Projet Sheng3, p. 30 sur les systemes multiphysiques et les signaux sonores qu’ils produisent. Elle s’interesse a explorer, comprendre, reproduire avec realisme ou Domaines de compétence inventer des objets sonores en audio, en acoustique, avec une focali- — sation sur les instruments de musique jusqu’a la production de la voix. Acoustique, mecanique, systemes non lineaires, automatique et Plus precisement, les objectifs sont de modeliser, simuler, identifier et controle, theorie du signal, geometrie differentielle, analyse numerique, optimiser ces systemes (voix, musicien/instrument, haut-parleurs, effets experimentation, mecatronique, lutherie reelle et virtuelle, synthese electroniques audio, etc.), avec pour particularite de s’appuyer sur la sonore. physique pour faire emerger des structures intrinseques et en beneficier. L’equipe elabore des methodes d’analyse, transformation, controle et Collaborations simulation de sons et des outils d’aide a la conception, dans des para- — digmes virtuels, reels ou hybrides. Athena-RIC (Grèce), Cabrilog SAS, C2RMF-Louvre, C2RMF et Louvre- Dans cette demarche, l’approche globale «systemes et signaux» apporte Lens, CHU Liège, GdR-GDM, École Centrale Lille, GIPSA-lab, HISOMA, une synergie des la conception des outils, en connectant (et non sim- IJLRA-Sorbonne Université, INRAE, INRIA-Lille, INRIA-Bordeaux, plement en juxtaposant) plusieurs disciplines et champs scientifiques : IREMUS, ISAE-SUPAÉRO, LAGEP-Université Lyon-1, LaSiE-Université physique, theorie des systemes et du controle, geometrie differentielle, de La Rochelle, LEOPOLY (Hongrie), LJLL-Sorbonne Univsersité, analyse numerique, traitement du signal, informatique, electronique, LMA-CNRS, LMD-ENS, LPL, Mines ParisTech, Musée de la musique. mecatronique et robotique. Les applications visees concernent les domaines scientifiques, artis- Équipe tiques, pedagogiques et de la sante. — Chercheurs : B. d’Andréa-Novel (Sorbonne Université), H. Boutin Thématiques et projets associés (Sorbonne Université), R. Caussé (émérite), T. Hélie (CNRS), D. Roze — (CNRS) – Ingénieur : R. Piéchaud – Doctorants : R. Muller, J. Najnudel, • Modélisation physique des instruments de musique et de la voix A. Thibault, V. Wetzel, M. Wijnand – Résidences/invités/collabora- • Synthèse sonore par modélisation physique tions longues : A. Falaize, F. Krouchi, H. P. Stubbe Teglbjærg, F. Silva, • Modélisation de systèmes physiques audio et de haut-parleurs J.-E. Sotty. • Plateformes expérimentales robotisées : archet robotisé, bouche artificielle robotisée pour le jeu des cuivres, appareil vocal robotisé à l’échelle 1:1 • Identification de systèmes non linéaires • Contrôle de systèmes non linéaires et contrôle d’instruments • Instruments augmentés, instruments hybrides • Projet Animaglotte (Système artificiel d’animation de larynx ex vivo), p. 33 • Projet Bass Holograms in Pune1 • Projet CAGIMA (Conception acoustique d’instrument de musique), p. 33 • Projet Finite4Sos2, p. 32 • Projet iMuSciCA, p. 33 • Projet Infidhem (Systèmes interconnectés de dimension infinie pour les milieux hétérogènes), p. 32

1 forum.ircam.fr/article/robert-piechaud-ircam/ pune.afindia.org/events/bass-holograms-a- musical-encounter-between-the-fkbass-an-augmented-bass-with-integrated-technology- and-the-rudra-veena/ 3 Collegium Musicae, www.iremus.cnrs.fr/fr/evenements/sheng-lorgue-bouche-des-di- 2 anr.fr/Projet-ANR-15-CE23-0007 zaines-de-sons-des-centaines-de-musique

18 Les équipes

Équipe Espaces acoustiques et cognitifs (EAC) Responsable : Olivier Warusfel

Activités — L’activité de recherche et de développement de l’équipe Espaces acous- Sur le plan musical, notre ambition est de fournir des modèles et des tiques et cognitifs est consacrée à la reproduction, à l’analyse/synthèse outils permettant aux compositeurs d’intégrer la mise en espace des et à la perception de scènes sonores. Les disciplines scientifiques de sons depuis le stade de la composition jusqu’à la situation de concert, l’équipe sont le traitement du signal et l’acoustique pour l’élaboration de contribuant ainsi à élever la spatialisation au statut de paramètre techniques de reproduction audio spatialisée et de méthodes d’analyse/ d’écriture musicale. Plus généralement, dans le domaine artistique, ces synthèse du champ sonore. Parallèlement, l’équipe consacre un impor- recherches s’appliquent également à la postproduction, aux installations tant volet d’études cognitives sur l’intégration multisensorielle pour un sonores interactives et à la danse à travers les enjeux de l’interaction développement raisonné de nouvelles médiations sonores basées sur son/espace/corps. l’interaction corps/audition/espace. Les activités de recherche scientifique décrites ci-dessous s’articulent avec une activité de développe- Thématiques et projets associés ment de bibliothèques logicielles. Ces développements consignent le — savoir-faire de l’équipe, soutiennent son activité de recherche théorique • Spatialisation sonore : Réverbération hybride et réponses impul- et expérimentale et sont le vecteur majeur de notre relation avec la créa- sionnelles spatialisées (SRIR), p. 26 ; Analyse-synthèse de SRIR, tion musicale et d’autres secteurs applicatifs. p. 27 ; Synthèse de champs sonores par réseaux à haute densité spa- Les travaux concernant les techniques de spatialisation se concentrent tiale, p. 28 ; Système WFS et HOA de l’Espace de Projection, p. 34 ; sur les modèles basés sur un formalisme physique du champ sonore. Écoute binaurale, p. 35 ; Spatialisation distribuée, p. 34, 35 ; Projet L’objectif principal est le développement d’un cadre formel d’analyse/ ORPHEUS, p. 35 ; Réalité augmentée et Projet HAIKUS, p. 37 synthèse du champ sonore exploitant des réponses impulsionnelles • Fondements cognitifs : Cognition spatiale auditive, p. 39 ; spatialisées (SRIR pour Spatial Room Impulse Response). Les SRIRs Intégration multisensorielle et émotion, p. 45 ; Projet Entrecorps ; sont généralement mesurées par des réseaux sphériques comportant Musique et plasticité cérébrale, p. 39 ; Perception de la distance en plusieurs dizaines de transducteurs (microphones et/ou haut-parleurs). Réalité Augmentée, p. 39 L’application principale concerne le développement de réverbérateurs • Création / Médiation : Auralisation de salle Projet RASPUTIN, à convolution exploitant ces SRIRs à haute résolution spatiale afin de p. 36 ; Composition Urbaine et Paysagère, p. 52 ; Étude acoustique reproduire fidèlement la complexité du champ sonore. du temple de Dendara, p. 27 La technique de spatialisation binaurale sur casque retient également • Logiciels : Spatialisateur, p. 75 ; OSCar, p. 73 ; Panoramix, p. 74 ; notre attention. L’évolution des pratiques d’écoute et la démocratisation ADMix Tools, p. 64 des applications interactives tendent à privilégier l’écoute sur casque à travers l’usage des smartphones. Grâce à sa capacité d’immersion Collaborations sonore, l’écoute binaurale devient le premier vecteur d’écoute tridimen- — sionnelle. Basée sur l’exploitation des fonctions de transfert d’oreille AALTO (FIN), ARI-ÖAW (Wien, AUT), HEGP (FR), HISOMA (FR), IFAO (FR), (HRTFs) elle reste à ce jour la seule approche assurant une reconstruc- IRBA (FR), LAM-IJLRA (FR), LORIA (FR), McGill (CAN), MPIA-IJLRA (FR), tion exacte et dynamique des indices responsables de la localisation Radio France (FR), RPI (Troy, US), RWTH Aachen (D), Univ. Lille (FR). auditive. Elle s’impose comme un outil de référence pour la recherche expérimentale liée à la cognition spatiale en contexte multisensoriel et Équipe pour les applications de réalité virtuelle. — Ces techniques de spatialisation audio 3D, associées aux dispositifs de Chercheurs : M. Noisternig, I. Viaud-Delmon (CNRS), O.Warusfel – captation des mouvements de l’interprète ou de l’auditeur dans l’espace, Ingénieur : T. Carpentier (CNRS) – Post-doctorants : David Poirier-Quinot constituent une base organologique essentielle pour aborder les ques- – Doctorants : V. Martin, P. Massé, F. Zagala – Résidences/invités/colla- tions « d’interaction musicale, sonore et multimédia ». Parallèlement, borations longues : L. Hobeika, N. Schütz, C. Suied, M. Taffou. elles invitent à une réflexion sur les « fondements cognitifs » liés à la sensation d’espace, notamment sur la nécessaire coordination entre les différentes modalités sensorielles pour la perception et la cognition de l’espace. Plus spécifiquement, nous désirons mettre en évidence l’importance des processus d’intégration entre les indices idiothétiques (liés à nos actions motrices) et les indices acoustiques (localisation, distance, réverbération…) utilisés par le système nerveux central pour construire une représentation spatiale de l’environnement perçu.

19 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Équipe Perception et design sonores (PDS) complète, en outre, par une prise en compte spécifique des modalités de Responsable : Nicolas Misdariis réception des ‘objets’ (artefacts) de design sonore qui induit notamment la problématique de l’évaluation perceptive. Activités — Thématiques et projets associés : Le projet scientifique de l’équipe Perception et design sonores combine — des recherches en perception et cognition sonores avec des recherches • Perception, représentation et description des sons et des applications en design sonore. Il met en œuvre des relations art/ • Sonie multi-sources science, d’une part, en alimentant la recherche musicale et sonore avec • Imitation vocale et identification des questionnements scientifiques d’ordre perceptif et cognitif (axe ‘du • Acoustique et sémantique du timbre : SpeaK, p. 57 son au sujet’), et d’autre part, en ancrant les problématiques de la créa- • Perception / cognition des sons complexes tion sonore appliquée dans le champ de la recherche en design (axe ‘du • Perception locale / globale sujet au son’). • Corrélation inverse et représentation mentale : CREAM, p. 43 La composante applicative permet, quant à elle, de développer des • Cognition et émotion vocales et musicales actions de type recherche-projet ou recherche-action, dans le cadre • Cognition sociale et identité vocale : CREAM, p. 43 ; ACTIVATE, de thèses ou de collaborations industrielles (Renault, Krug, SNCF…) p. 40 qui allient « savoir » scientifique et technologique des chercheur.e.s de • Rétroaction vocale émotionelle: Reflets, p. 41 l’équipe et « savoir-faire » artistique des compositeur.e.s systématique- • Corrélation inverse et prosodie : CREAM, p. 43 ; SEPIA, p. 40 ment associé.e.s (A. Cera, S. Gaxie, A. Sigman, R. Rivas…). • Rugosité sonore et émotion : CREAM, p. 43 Ce cadre de travail est enfin complété par une dimension pédagogique • Cognition et créativité musicale : GRIAMI, p. 55 essentielle qui, grâce à son implication dans le DNSEP Design Sonore de • Design et interaction sonores l’École supérieure d’art et design TALM-Le Mans, permet à l’équipe de • Analyse des pratiques du design sonore : APDS, p. 57 contribuer activement à la formation et la structuration de la discipline. • Signalétique sonore, interfaces homme-machine : Symbioz, p. 43 Cette implication passe notamment par l’encadrement d’un workshop • Design sonore multimodale, sonification applicatif annuel qui rassemble des étudiants en design sonore et en • Environnement sonore : KRUG, p. 44 design autour d’un cas concret apporté par un partenaire industriel ou • Design sonore et santé institutionnel (Ville du Mans, Région Ile-de-France, RATP, Maison de la • Outils d’aide à la conception sonore : SpeaK, p. 57 ; Skat-VG, p. 51 ; Radio, Hopital Sainte-Anne…). KRUG, p. 44 Les recherches menées sur l’axe ‘du son au sujet’ portent en premier lieu – et historiquement – sur les sons environnementaux, objet singulier Domaines de compétence qui permet d’accéder à plusieurs niveaux de représentation cognitive, en — lien avec des modes d’écoute distincts (écoute réduite, causale, séman- Psychologie expérimentale, analyse de données (numériques, verbales), tique). Elles sont mises en œuvre à différentes échelles temporelles (de acoustique, psychoacoustique, psychologie et neurosciences cognitives, l’événement à la scène sonore), à différents degrés de complexité (du design sonore, design. son pur au son complexe), et visent autant la caractérisation de méca- nismes perceptifs de bas-niveau (sonie, saillance auditive…), que la Collaborations compréhension de processus cognitifs de plus haut niveau impliquant — la reconnaissance, l’identification, la catégorisation, la mémorisation LMA (CNRS), Ec. Centrale Nantes (LS2N), Ec. Nat. Sup. d’Architec- ou le traitement émotionnel de l’information sonore. Sur les dimensions ture Lyon (LAURE), CNAM (Cedric), Univ. Toulouse (MSHS / PETRA), mémorielles et émotionnelles, les recherches de l’équipe se sont par Sorbonne Université (Inst. Jean le Rond d’Alembert), Université Paris 1 ailleurs (ré)ouvertes – notamment, à la faveur d’un projet ERC – à des Panthéon-Sorbonne (ACTE), Université de Strasbourg, EPFL (Lausanne), problématiques vocales et musicales, en combinant des technologies TU Delft (Fac. Industrial Design Engin.), ENS Ulm (LSP), CAP (Université d’analyse et de transformation du signal avec l’étude d’indices sonores Lyon 1), GHU Paris Psychiatrie & Neurosciences (Neuro Sainte-Anne et pouvant induire des émotions, de réactiver des représentations en Lab-ah), Hôpital Cochin (APHP), Hôpital Pitié-Salpétrière (APHP), CHU mémoire, voire de guider des comportements sociaux. Lille, Univ. de Tours (INSERM), ENAC, Centrale Supélec (FAST), INT Les recherches menées sur l’axe ‘du sujet au son’ étendent la catégorie La Timone, ICM, Université de Tokyo, McGill University (Canada), KTH de sons environnementaux à celle d’artefacts sonores – issus d’une (Suède), Lunds universitet (Suède), ZHdK (Suisse), ENS Paris Saclay transformation humaine, d’origine artificielle – et posent la question de (CRD), ENSCI Les Ateliers, Music Unit, Alta Voce, Groupe Renault, PSA leur conception (design) mais aussi de leur réception (perception). Elles Peugeot Citroën, Maison KRUG, Actronika, SNCF, LAPS-Design, Région s’intéressent donc globalement à la discipline du design sonore, consi- Île-de-France, RATP, Radio France (Maison de la Radio), Ville du Mans. dérée comme un objet d’étude et de recherche à part entière, en l’inté- grant dans le champ de la recherche en design, cadre conceptuel plus Équipe large et plus établi d’un point de vue historique et épistémologique. Cette — volonté de faire interagir le design sonore avec le design, et d’en acquérir Chercheurs : J.-J. Aucouturier (CNRS), M. Ayari (Université de des connaissances, méthodologies ou outils propres, prend le parti de Strasbourg), O. Houix (ESAD TALM Le Mans), M. Liuni, N. Misdariis, s’inspirer de l’approche des sciences du design formalisée notamment P. Susini – Post-doctorants : P. Arias – Doctorants : C. Richards, V. Rosi, par Nigel Cross (2006). Cette approche se déploie sur des dimensions T. Souaille (co-dir. LS2N), N. Guerouaou (co-dir. CHU Lille), E. Pruvost- relatives aux acteurs, procédures et produits de la discipline ; elle se Robieux (co-dir. GHU Neuro Ste-Anne) – Résidences/collaborations artistiques : A. Cera, R. Rivas, N. Schütz, A. Tocher, J. Acheson.

20 Les équipes

Équipe Analyse et synthèse des sons (AS) Responsable : Axel Roebel

Activités Thématiques et projets associés : — — L’equipe Analyse et synthese des sons effectue des recherches et des • Modèles de signaux : Traitements par vocodeur, p. 29 developpements en analyse, transformation et synthese des signaux • Caractérisation des sons : Indexation automatique ; projets sonores. Skat-VG, p. 51 ; AI4Media, p. 26 L’analyse de sons comprend les methodes permettant l’extraction ou la • Analyse, transformation et synthèse de la voix, conversion structuration automatique de divers types d’informations provenant du des locuteurs : projets Chanter ; theVoice, p. 42 ; ARS, p. 38 signal, comme la frequence fondamentale ou les evolutions spectrales • Analyse de scènes sonores : projet ROUTE determinant la hauteur et le timbre du son percu. • Logiciels : SuperVP, p. 76 ; Audiosculpt ; IRCAMLab TS, p. 67 ; Des informations non strictement musicales sont egalement prises en ISiS Singing Synthesis compte et interessent des domaines tels que l’acoustique industrielle, le design sonore et le multimedia. On peut citer, en particulier, l’indexa- Collaborations tion automatique des enregistrements sonores. Les methodes utilisees — reposent sur le traitement du signal, l’analyse statistique, les techniques Aristotle University of Thessaloniki (Greece), Athens Technology Center d’apprentissage et l’apprentissage profond, la reconnaissance des (Greece), bmat (Espagne), Centre for Research and Technology Hellas formes mais aussi sur la connaissance de la perception auditive. (Greece), Flux::Audio, France Télécom R&D / Orange, Frauenhofer Les techniques de transformation et la synthèse des sons sont d’abord Gesellschaft ICMT (Allemagne), ISIR/Sorbonne Université, LAM/ conçues pour répondre aux demandes des musiciens pour la création de Sorbonne Université, LIA (Université d’Avignon), MICC Univ. Florence nouveaux sons et de nouvelles musiques. Un exemple typique en est la (Italie), PSA (Paris) , Sony Music France, Stupeflix, UMG, Univ. synthèse d’un chœur virtuel par un ordinateur sur la scène d’un opéra. Huddersfield (Royaume-Uni), Uni. Lumière Lyon 2. Ces travaux trouvent également de nombreuses applications dans des domaines tels que la téléphonie mobile, les jeux vidéo, le cinéma ou la Équipe réalité virtuelle en général. Analyse et synthèse reposent sur la concep- — tion, d’une part, de modèles de signaux (modélisation des effets des Chercheurs : R.Mignot, N. Obin (Sorbonne Université), A. Roebel sons produits en termes de signaux) et d’autre part, des modèles sous Ingénieurs : F. Cornu – Post-doctorants : E.-L. Benaroya, D. Wolff – forme de réseaux profonds appris sur des grandes bases de données Doctorants : F. Bous, M. Farès, R. A. Ferro Mendes, H. Foroughmand, qui souvent sont généré ou augmenté à l’aide de modèles de signaux. A. Lavault, C. Le Moine Veillon, Y. Teytaut. Ces modèles sont réalisés sous la forme de bibliothèques et logiciels (Mac OS x, Windows et Linux), spécifiquement conçues à l’intention d’utilisateurs professionnels ou non, musiciens, mais aussi ingénieurs du son, acousticiens et amateurs.

Domaines de compétence — Traitement du signal, statistiques, théorie de l’information, techniques d’apprentissage, analyse numérique, modélisation.

21 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Équipe Interaction son musique mouvement (ISMM) Responsable : Frederic Bevilacqua

Activités Projets nationaux et européens — — L’equipe Interaction son musique mouvement (precedemment : • ELEMENT, p. 41 Interactions musicales temps reel) mene des recherches et des • CoSiMa, p. 44 developpements sur les systemes interactifs dedies a la musique et au • EmoDemos, p. 42 spectacle vivant. • ABC DJ Nos travaux concernent toute la chaîne du processus interactif, com- • SkAT-VG, p. 51 prenant la captation et l’analyse des gestes et des sons, les outils de • Rapid-Mix, p. 58 gestion de l’interaction et de la synchronisation, ainsi que des tech- • WAVE, p. 58 niques de synthèse et traitement sonore temps réel. Ces recherches, et leurs développements informatiques associés (MuBu for Max, CataRT, Domaines de compétence Soundworks et librairies Web), sont généralement réalisés dans le cadre — de projets interdisciplinaires, intégrant scientifiques, artistes, pédago- Systèmes interactifs sonores, interaction humain-machine, captation du gues, designers et trouvent des applications dans des projets de création mouvement, modélisation du son et du geste, analyse et synthèse sonore artistique, de pédagogie musicale, d’apprentissage du mouvement, ou temps réel, modélisation statistique et apprentissage machine intéractif, encore dans des domaines médicaux tels que la rééducation guidée par traitement de signal, systèmes interactifs distribués. le son et la musique. Collaborations Thématiques et projets associés — — Arizona State University (États-Unis), Atelier des feuillantines, BEK • Modélisation des gestes et des mouvements : ce thème regroupe (Norvège), CNMAT Berkeley (États-Unis), ENSAD, ENSCI, GRAME, HKU le développement de modèles basés sur des études expérimen- (Pays-Bas), Hôpital Pitié-Salpêtrière, IEM (Autriche), ISIR-CNRS et LIB tales, concernant généralement l’interaction entre son et mouve- Sorbonne Université, Little Heart Movement, Mines-Paris Tech, Mogees ment, allant du jeu d’instrumentistes aux mouvements dansés, (cf. (Royaume-Uni/Italie), No Design, Motion Bank (Allemagne), université Analyse et reconnaissance du geste ; Instruments augmentés, p. 31 ; Pompeu Fabra (Espagne), UserStudio, université de Genève (Suisse), EmoDemos, p. 42 LIMSI-CNRS université Paris-Saclay, LRI-CNRS université Paris-Saclay, • Synthèse et traitement sonore interactif : ce thème regroupe essen- GeorgiaTech (USA), Legacy Lab (Tawain), NOTAM (Norvège), Orbe.mobi, tiellement des méthodes de synthèse et traitement sonore basées PLUX (Portugal), ReacTable Systems (Espagne), UCL (Royaume-Uni), sur des sons enregistrés ou de large corpus sonores (cf. Synthèse Univers Sons/Ultimate Sound bank, universtié Paris 8, Université concaténative par corpus, p. 30 Nanterre, Universidad Carlos III Madrid (Espagne), université de Gênes • Systèmes interactifs sonores fondés sur le geste et nouveaux (Italie), université McGill (Canada), TU Berlin (Allemagne), ZhDK (Suisse). instruments : ce thème concerne le design et le développement d’environnements sonores interactifs utilisant gestes, mouvements Équipe et toucher. L’apprentissage machine interactif est l’un des outils — développés spécifiquement (cf. ELEMENT, p. 41 ; Rapid-Mix, p. 58 ; Chercheurs et développeurs : F. Bevilacqua, R. Borghesi, J.-P. Lambert, Skat-VG, p. 51 W. Liu (CNRS), B. Matuszewski, D. Schwarz, – Doctorantes : I. Peyre, • Interaction musicale collective et systèmes distribués : ce thème M. Voillot – Résidence/invités/colloborations longues : B. Caramiaux aborde les questions d’interactions musicales allant de quelques (CNRS), J. Françoise (CNRS), S. Fdili Aloui, A. W. Liu, M. Suarez Cifuentes, utilisateurs à des centaines. Il concerne plus particulièrement le M. A. Magalhaes, L. Bianchi. développement d’un environnement Web mêlant ordinateurs, smartphones et/ou systèmes embarqués, pour explorer de nouvelles possibilités d’interactions expressives et synchronisées (cf. Systèmes distribués, p. 46 ; CoSiMa, p. 44 ; WAVE, p. 58)

22 Les équipes

Équipe Représentations musicales (RepMus) • Mathématique et musique, p. 56 Responsable : Gérard Assayag • Langages informatiques pour la création : logiciels OpenMusic, p. 71 ; Antescofo, p. 65 Activités • Dynamiques de l’interaction improvisée, co-créativité : projets — DYCI2, p. 54 ; MERCI, p. 49 ; REACH, p. 48 ; logiciel OMax & co, L’équipe Représentations musicales travaille sur les structures formelles p. 70 de la musique et les environnements créatifs pour la composition et • Intelligence Artificielle Créative : projet ACIDS, p. 50 l’interaction musicales. • Études sur les structures musicales dans la performance : Ces travaux mènent a des applications dans les domaines de la composi- projet COSMOS, p. 36 tion assistée par ordinateur (CAO), de la performance, de l’improvisation, • Études en lien avec la thérapeutique : projet HEART.FM, p. 37 de l’interprétation et de la musicologie computationnelle. La réflexion sur les représentations de haut niveau des concepts et des structures Domaine de compétence musicales, appuyée sur les langages informatiques originaux développés — par l’équipe, débouche sur l’implantation de modèles qui peuvent se {Composition, analyse, performance, improvisation, orchestration} tourner vers l’analyse musicale comme vers la création, vers la composi- assistés par ordinateur, musicologie computationnelle, intelligence tion comme la performance et l’improvisation. artificielle créative, langages informatiques musicaux, mathématiques Sur le versant musicologique, les outils de représentation et de modéli- musicales, langages temps réel synchrones, notations exécutables, sation permettent une approche véritablement expérimentale qui dyna- architectures d’interaction, (co-)créativité computationnelle. mise de manière significative cette discipline. Sur le versant création, l’objectif est de concevoir des compagnons Collaborations musicaux qui interagissent avec les compositeurs, musiciens, ingénieurs — du son… dans toutes les phases du workflow musical. Les logiciels Bergen Center for Electronic Arts (NO), CIRMMT/ McGill University (CA), développés ont pu être diffusés vers une communauté importante de City University London, Conservatoire national supérieur de musique et musiciens, concrétisant des formes de pensée originales liées à cette danse de Paris, Columbia New York, CNMAT/UC Berkeley, Electronic caractéristique particulière des supports informatiques qu’ils peuvent Music Foundation, Gmem, Grame Lyon, HEM Genève, École normale représenter (et exécuter) à la fois la partition finale, ses divers niveaux supérieure, EsMuC Barcelone, Harvard University, Inria, Sorbonne d’élaboration formelle, ses générateurs algorithmiques, ses réalisations Université, université de Strasbourg, université Paris-Sud Orsay, UCSD sonores, et qu’ils permettent d’interagir dans le vif de la performance et San Diego, université de Yale, université du Minnesota, Barts Heart notamment de l’improvisation. Centre, University College London, GREAM Strasbourg, Institut Pasteur, L’équipe intègre l’interaction symbolique et la créativité artificielle à tra- Jardin des Sciences Strasbourg, université de Padoue, EHESS, HyVibe, vers ses travaux sur la modélisation de l’improvisation et l’intégration université de Tokyo, Geidai University of the Arts, université de Kyoto, de nouvelles formes compositionnelles ouvertes et dynamiques. Ces Metropolitan University Tokyo, STEGI Onassis Cultural Center, université recherches permettent des avancées en intelligence artificielle, avec d’Athènes, université de Pennsylvanie. des modèles d’écoute, d’apprentissage génératif, de synchronisation, et posent les fondements de nouvelles technologies d’agents créatifs qui Équipe peuvent devenir des compagnons musicaux dotés de musicalité artifi- — cielle (« machine musicianship »). Cela préfigure la dynamique de coopé- Chercheurs : C. Agon (PR Sorbonne Université), G. Assayag (DR Ircam), ration inhérente aux réseaux cyber-humains et l’émergence de formes de E. Chew (DR CNRS), P. Esling (MC Sorbonne Université), J.-L. Giavitto co-créativité homme-machine. (DR CNRS), K. Haddad (CR Ircam, compositeur), J. Nika (CR Ircam), L’équipe a une longue histoire de collaboration intensive avec des com- M. Malt (PAC, chercheur associé), G. Bloch (MC U. Strasbourg, chercheur positeurs et musiciens, qu’ils soient internes ou externes a l’Ircam. Les associé) – Postdocs, ingénieurs : L. Fyfe (CNRS), A. Chemla Romeu- trois tomes de l’ouvrage OM Composer’s Book archivent ces travaux et Santos, C. Guichaoua – Chercheurs invités, résidences : M. Andreatta garantissent leur diffusion internationale et leur pérennité. (DR CNRS, U. Strasbourg), A. Vinjar (résidence IRC), B. Gatinet (Résidence ANR MAKIMOno), C. Malherbe (compositeur associé), M. Stroppa Thématiques et projet associés (compositeur associé) – Doctorants : T. Bazin (CIFRE Sony CSL), A. Bitton, — A. Caillon, T. Carsault, C. Douwes, M. Prang, A. Ratoci, D. Cabanzo, • Composition assistée : Composition assistée par ordinateur, J. M. Fernandez (thèse en composition), J.-F. Ducher , M. Fouilleul, logiciel OpenMusic, p. 71 D. A. Bedoya Ramos, P. Lascabettes, N. Devis (thèse SCAI). • Orchestration : Orchestration assistée par ordinateur, p. 53 ; projet ACTOR, p. 55 ; logiciel Orchid*, p. 72 • Contrôle de la synthèse et de la spatialisation, écriture du temps : Composition assistée par ordinateur, p. 47 ; Écriture du temps synchrone ; logiciel OpenMusic, p. 71 ; Antescofo, p. 65

23 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Équipe Analyse des pratiques musicales (APM) Responsable : Nicolas Donin

Activités Collaborations — — L’equipe Analyse des pratiques musicales mene des recherches sur Centre de recherches sur les arts et le langage (EHESS, CNRS), CIRMMT/ les œuvres et pratiques musicales savantes qui constituent le cœur de McGill University (Canada ), Conservatoire national superieur de l’activite de l’Ircam : composition, improvisation, interpretation. musique et de danse de Paris, Faculté de musique de l’université Pour ce faire, l’equipe developpe une musicologie empirique et tech- d’Oxford, Haute École de musique/conservatoire de Geneve, Institut nologique qui vise a decrire (et eventuellement a modifier) des savoirs des textes et manuscrits modernes (CNRS-ENS Ulm), OICRM/universite exterieurs a l’analyste, grace a des methodes originales de constitution de Montreal. des donnees. Il s’agit de rendre compte des phenomenes consideres sans les reduire a priori a leur structuration apparente (procedures formali- Équipe sables, information textuelle), mais au contraire en les abordant en tant — que complexites dynamiques, creatrices, situees, sociales et culturelles. Chercheurs : N. Donin, C. Canone (CNRS), L. Feynerou (CNRS), F.-X. Féron (CNRS), Fanny Gribenski (CNRS) – Chercheur associé : Alain Bonardi. Ces travaux sont diffusés par des publications et colloques au sein des différentes communautés scientifiques concernées (musicologie, histoire, philosophie, sciences cognitives, sociologie, critique génétique) ; ils font aussi l’objet d’autres formes de dissémination : courts-métrages documentaires, enseignements universitaires et auprès d’un plus large public, développements informatiques, conférences-performances, etc.

Thématiques et projets associés — • Analyse des processus de création individuels et collectifs • Improvisation et action conjointe • Histoire des pratiques musicales et scientifiques et de leurs interactions • Interprétation de la musique mixte et électroacoustique • Histoire et esthétique des avant-gardes musicales • Sound Studies • Musicologie & SHS • MICA, p. 52 • WASABI, p. 46 • Temporalité et spatialité musicales de la conscience morbide, p. 61 • Dire la musique, p. 62 • Instruments of Improvisation, p. 62 • Histoire de l’acoustique musicale en France, p. 60 • Accorder le monde

24 3 Les projets

25 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

C1. l’atelier du son

AI4Media Réverbération hybride — et réponses impulsionnelles spatialisées — Équipe concernée : Espaces acoustiques et cognitifs

La plupart des réverbérateurs artificiels actuels s’appuient soit sur des réseaux de retards rebouclés (Feedback Delay Networks FDN), soit sur des moteurs de convolution. Ces approches se distinguent par le coût de calcul, l’« authenticité » du rendu, la flexibilité d’usage et l’adaptabilité vis-à-vis du dispositif de restitution. L’équipe EAC explore depuis plusieurs années une approche dite « hybride ». À partir des réponses impul- Équipe concernée : Analyse et synthèse des sons sionnelles mesurées (Impulse Responses IR), les réflexions précoces sont Financement : H2020, Commission européenne restituées par convolution, tandis que la partie tardive de la réverbéra- Période de réalisation : septembre 2020 – août 2024 tion est synthétisée par un FDN qui approxime le relief de décroissance Partenaires extérieurs : Coordinateur CERTH pour 30 partenaires énergétique (Energy Decay Relief EDR) de l’IR. La transition entre les deux modes s’opère au temps de mélange, et le FDN est calibré de sorte Face à l’évolution rapide du monde des médias et de l’information, le projet à assurer la continuité de l’EDR, garantissant ainsi un rendu percepti- AI4Media a pour but de développer des outils d’intelligence artificielle pour vement indiscernable de l’IR originelle. Cette technique hybride a été les médias, le multimédia et l’audiovisuel. Par exemple, afin d’aider nos étendue à des IR spatialisées (SpatialRoom Impulse Responses SRIR), démocraties européennes à lutter contre la désinformation, le projet vise à mesurées avec des microphones sphériques (cf. ci-contre), de sorte à proposer des analyses de médias pour la détection de dernières nouvelles, restituer la distribution spatiale des réflexions dans la salle. Dans le la détection de fausses informations, ou la validation d’information pour les cadre de la résidence de recherche artistique de Pedro Garcia-Velasquez journalistes. Également, le projet s’intéresse à des applications artistiques et Augustin Muller en 2017, un travail artistique centré autour de la et d’aide à la création de jeux vidéo ; le travail de l’équipe Analyse-Synthèse notion de « lieux sonores », a abouti à la constitution d’une bibliothèque se place dans ce contexte. Grâce à des techniques avancées d’intelligence de réponses impulsionnelles 3D pour la simulation de l’acoustique de artificielle, nous développerons une nouvelle approche de synthèse sonore lieux remarquables. Plutôt que de répertorier des empreintes de salles de réaliste d’instruments de musique. Cette méthode rendra possible la pro- concert à l’acoustique relativement homogène, cette bibliothèque privi- duction de contenus musicaux de qualité à partir de partitions au format légie des lieux plus atypiques autant par la singularité de leur signature MIDI. Cela servira d’une part à des applications artistiques ou de jeux acoustique que par leur pouvoir d’évocation. vidéo, et d’autre part à l’apprentissage supervisé de modèles d’analyse automatiques d’enregistrements audio : estimation du tempo, détection de la clef, reconnaissance des accords, transcription automatique, séparation de sources. © P. Garcia-Velasquez, A. Muller Garcia-Velasquez, © P.

Pêle-mêle des sites remarquables ayant fait l’objet d’une prise d’empreinte acoustique 3D.

26 Les projets - C1. L’atelier du son

Analyse-synthèse de SRIR Étude acoustique du temple de Dendara — — Équipe concernée : Espaces acoustiques et cognitifs Équipe concernée : Espaces acoustiques et cognitifs Collaborations extérieures : université Aalto (Helsinki, FIN). Partenaires extérieurs : HISOMA, IFAO

L’analyse et le traitement de réponses impulsionnelles spatiales (SRIR) Le CNRS et l’IFAO (Institut français d’archéologie orientale) ont entre- est une thématique centrale de l’équipe. Le travail se focalise sur la pris, en collaboration avec l’Ircam, l’étude archéo-acoustique du temple modélisation et la resynthèse du champ de réverbération tardif. Dans principal de Dendara (projet dirigé par Sibylle Emerit, chercheuse du ce contexte, un processus de débruitage robuste a été développé afin laboratoire CNRS HiSOMA et ancien membre de l’IFAO). Situé en Haute- de traiter la base de données de SRIR de l’équipe. Quand la queue de Égypte, et construit entre la fin de l’époque ptolémaïque et le début de réverbération tardive présente des propriétés de champ diffus (incohé- l’époque romaine, ce temple est dédié à Hathor, déesse de la musique, rence des ondes planes, distribution spatiale de puissance isotrope), de l’amour et de l’ivresse. Les études épigraphiques et iconographiques le débruitage par resynthèse peut être réalisé dans le domaine des attestent de l’importance de l’activité sonore dans ce temple que ce soit harmoniques sphériques, représentation spatiale à la base du format au travers des mentions textuelles ou par l’omniprésence de représenta- HOA. Le domaine des harmoniques sphériques préserve la nature spa- tions de divinités ou de danseurs et musiciens vénérant Hathor par leurs tiale incohérente du champ diffus (grâce à l’orthogonalité de la base de chants et manifestations instrumentales (tambourins, harpes, sistres, décomposition). La décroissance exponentielle de puissance est alors luths) qui ornent les parois et les colonnes de différents espaces. C’est la modélisée composante par composante et fréquence par fréquence, opé- première fois qu’une telle étude, au carrefour de l’anthropologie, de l’ar- ration au cours de laquelle le seuil de bruit est simultanément détecté. chéologie, de l’architecture, de la musique et de l’acoustique, est consa- Une prolongation de la queue de réverbération peut enfin être synthé- crée à un temple égyptien. L’enjeu est la compréhension de la manière tisée et utilisée pour remplacer ce seuil de bruit. Dans le cadre d’une dont les anciens percevaient et interprétaient les phénomènes sonores collaboration avec l’université Aalto une étude est consacrée à l’ana- par l’analyse du vocabulaire consacré aux sons, par l’étude des instru- lyse de la directivité du champ tardif dans le cas où celui-ci n’est pas ments de musique et l’observation des sites dans lesquels se déroulaient entièrement diffus, i.e. où les ondes planes sont incohérentes mais la des manifestations riches en événements sonores. Les études architec- distribution spatiale de puissance est anisotrope. Dans ce cas, il n’est turales se concentrent généralement sur la dimension visuelle du bâti plus possible de resynthétiser la queue de réverbération en agissant seu- et plus rarement sur sa dimension acoustique à l’exception des théâtres lement sur l’enveloppe de puissance dans le domaine des harmoniques antiques grecs et romains. Dans ce projet, la mission de l’Ircam est de sphériques, et une représentation directionnelle de l’IR est nécessaire mener une caractérisation acoustique des différents espaces du temple (décomposition en ondes planes). Le nombre de directions sur lesquelles par la mesure de réponses impulsionnelles. Ces réponses, enregistrées l’IR peut être décomposée est limité par le nombre d’harmoniques sphé- par un réseau microphonique à haute-résolution spatiale (microphone riques puisque l’indépendance linéaire des signaux générés doit être EM32 de MHAcoustics®) seront utilisées ultérieurement pour calibrer garantie. La répartition de ces directions sur la sphère est choisie afin un modèle numérique 3D, en cours de réalisation, qui permettra de de maximiser leur différence angulaire, pour que les signaux soient les compléter l’étude par la prise en compte d’éléments architecturaux plus indépendants possibles, et minimiser la variance de la directivité aujourd’hui disparus (portes du sanctuaire et des différentes chapelles, totale, pour qu’aucun sous-espace de la sphère ne soit privilégié par cour péristyle). rapport à d’autres. L’opération de débruitage est appliquée direction par direction, préservant à la fois l’incohérence spatiale et la directivité du champ tardif. Ce projet se poursuit par l’extraction de descripteurs des SRIRs permettant de concevoir un répertoire de manipulations inté- ressantes dans le cadre d’applications artistiques exploitant des SRIRs (cf. Composition urbaine et paysagère, p. 52)

Étude acoustique du temple de Dendara. Mesure dans le Naos (en bas) et le Pronaos (à droite).

27 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Synthèse de champs sonores FuturePulse par réseaux à haute densité spatiale — — Équipe concernée : Espaces acoustiques et cognitifs Collaborations extérieures : EMPAC (Troy, États-Unis).

La recherche sur la synthèse de champ sonore reste un enjeu privilégié Équipe concernée : Analyse et synthèse des sons pour l’équipe EAC et trouve son application naturelle dans les produc- Financement : programme H2020 ICT-19-2017 tions musicales. Elle représente également un excellent vecteur de valo- Période de réalisation : septembre 2017 – août 2020 risation de nos développements et de collaboration avec des institutions Partenaires : Bmat (coordinateur, Espagne), Athens Technology Center de recherche et de création musicale prestigieuses. (Grèce), Musimap (Belgique), Playground (Suède), Bass Nation (Finlande), Dans le cadre d’une collaboration de recherche avec le Rensselaer Soundtrack Your Brand (Suède) Polytechnic Institute, la salle de concert du Curtis R. Priem Experimental Media and Performing Arts Center (EMPAC) a été équipée d’un ambitieux L’industrie musicale connaît actuellement une importante mutation liée dispositif de spatialisation sonore. Ce nouveau système est constitué à la montée en charge du streaming, des médias sociaux et des techno- d’un réseau de 512 haut-parleurs (16 modules de 31 haut-parleurs asso- logies de convergence. La disponibilité de très grands catalogues fait ciés à un subwoofer) pour la diffusion en WFS (Wave Field Synthesis) et des fonctions de recommandation et de découverte des éléments clés de d’un dôme de 100 haut-parleurs pour une diffusion en HOA (High Order compétitivité entre acteurs commerciaux, tandis que l’accès en continu Ambisonics). à de multiples sources de consommation musicale donne naissance à L’espacement des transducteurs est de 5,8cm. Différents agencements des pratiques dynamiques, caractérisées par une grande diversité de géométriques des modules ont été testés, chacun permettant de tirer goûts et une volatilité des préférences en fonction du contexte d’écoute. parti de façon optimale des différentes méthodes de synthèse de champ Afin de répondre aux besoins de plus en plus complexes de l’écosystème sonore. Par exemple, la superposition des modules permet de constituer musical, le projet FuturePulse s’attache au développement d’une plate- une antenne rectiligne de 15m pour la diffusion en WFS avec des trans- forme technologique de marketing analytique destinée à trois secteurs ducteurs distribués en quinconce et espacés de 2,9 cm. La fréquence de de l’industrie musicale à fort impact : repliement spatial est ainsi rejetée au-delà du spectre audible et permet • l’édition phonographique ; d’obtenir une reconstruction du champ sonore saisissante. • la production de concerts ; Disposés sous forme d’une ceinture polygonale, ces modules permettent, • les plateformes de diffusion en ligne. cette fois, de constituer un dispositif de reproduction HOA 2D à l’ordre L’enjeu du projet est d’aider les acteurs du domaine à tirer parti d’une N=250. Les haut-parleurs constituant le dispositif sont contrôlés indé- variété de données, allant des contenus de diffusion (télévision, radio) pendamment par une ferme d’ordinateurs gérant en temps réel la spatia- et de streaming aux statistiques de ventes et aux flux de discussions, lisation des sources sonores. L’un des enjeux majeurs de cette recherche d’interactions et de contenus sur les médias sociaux, au moyen d’ana- est la mise en pratique du contrôle de champ sonore multizones. lyses élaborées et de services de modélisation prédictive pour prendre des décisions commerciales éclairées, mieux comprendre leur public et les tendances futures de la musique et aller vers une meilleure efficacité et rentabilité de la distribution musicale. L’Ircam intervient dans le projet par l’adaptation et le perfectionnement de ses technologies d’indexation, permettant l’extraction automatisée d’informations à partir d’enregistrements musicaux. © M. Noisternig

Dispositif de restitution sonore WFS – HOA du Curtis R. Priem Experimental Experimental Media and Performing Arts Center au Rensselaer Polytechnic Institute de Troy (US). Le dispositif est constitué de 16 antennes linéaires de haut-parleurs espacés de 5,8 cm, ici configurées pour une diffusion HOA bidimensionnelle.

28 Les projets - C1. L’atelier du son

Traitements par vocodeur Ondes Martenot — — Équipe concernée : Analyse et synthèse des sons Équipe concernée : Systèmes et signaux sonores : audio/acoustique, instruments La recherche sur les vocodeurs pour la transformation de la musique et Financement : Collegium Musicæ de la parole est un des sujets clés de l’équipe. Au début (depuis 1995) Partenaire : ECR-Musée de la musique les recherches était concentré sur le vocodeur de phase, l’une des techniques les plus performantes pour l’analyse et la transformation des Ce projet a un double objectif, muséal et scientifique. L’objectif muséal sons. Ces recherches sont à la base du logiciel SuperVP, qui permet par concerne la génération automatique (i) de documentation sur les instru- exemple de transposer, d’étirer ou de raccourcir des sons, de les filtrer ments et (ii) de code de simulation pour « l’écoute non invasive », impor- pratiquement sans limitation, etc. Pour la parole également, la qualité tante pour la préservation sous des formes virtuelles jouables. sonore des signaux transformés atteint un excellent niveau. De très Il concerne également le clonage de composants électroniques à techno- nombreuses améliorations et extensions y ont été apportées. Citons par logie ancienne sous forme de composants analogiques programmables exemple : insérables dans des circuits, point important pour la préservation d’ins- • L’estimation d’enveloppe spectrale par «true envelope» ; truments sous forme non virtuelle. • La transposition avec préservation d’enveloppe spectrale ; L’objectif scientifique porte sur les modèles physiques de composants • La transposition de la voix avec modèle «shape invariant» ; électroniques non linéaires anciens et la simulation temps réel à pas- • La synthèse croisée généralisée qui permet de synthétiser sivité garantie de circuits électroniques avec génération automatique des sons hybrides ; de documentation et de code de simulation (travaux fondés sur les • La détection et le traitement séparé des zones temps-fréquence Systèmes Hamiltoniens à Port (SHP), formalisme très productif pour les sinusoïdales, non-sinusoïdales et transitoires. systèmes multiphysiques). Il porte également sur la conception de composants électroniques analogiques programmables et la mise au point Ces différents modules d’analyse, de synthèse et de traitement sont uti- d’une méthodologie générale applicable aux ondes Martenot et d’autres lisés dans plusieurs logiciels commerciaux. À partir de 2009 un nouveau grandes familles de circuits analogiques audio. type de vocodeur, fondée sur la gestion des impulsions glottique a été Nous avons réalisé un facsimile ergonomique de l’onde Martenot n° 169, envisagé. Issu de ses recherches, le vocodeur PaN « Pulse and Noise » a datant de 1937, destiné à montrer le fonctionnement et le son de l’ins- été intégré dans le logiciel de synthèse de chant ISiS (disponible via le trument aux visiteurs des musées. La simulation numérique des lampes Forum de l’Ircam). triodes d’époque, dans les étages du circuit électronique (oscillateur Depuis 2017, le succès des techniques d’apprentissage profond dans le hétérodyne, mélangeur et amplificateurs), repose sur le formalisme des domaine de la synthèse de la parole a motivé une nouvelle direction de SHP. recherche sur la transformation de la parole avec des vocodeur neuronal, Le modèle numérique est embarqué dans un processeur numérique qui actuellement est en cours d’étude notamment dans le projet ARS, temps réel et connecté à une interface de contrôle utilisateur : clavier p. 38. MIDI et capteur de position résistif en ruban pour la hauteur, touche de contrôle de la pression de la main (Touché, Expressive E) pour le niveau sonore. Les prochaines étapes consistent à concevoir des facsimilés des « diffuseurs » d’origine. Un banc de mesure est actuellement en cours de développement, pour caractériser les réponses en tension et courant des modèles de lampes triodes utilisées dans les différentes générations d’Ondes Martenot, ainsi que leur vieillissement. Cette étude permettra de contrôler virtuellement la dégradation de ces composants électroniques et ainsi de simuler le son des instruments à différents stades de leur vie. Ce projet implique le Musée de la musique, dont la démarche vise à déve- lopper des outils innovants pour la conservation de ses collections et la diffusion du patrimoine.

29 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

SHENG – orgue à bouche Synthèse concaténative par corpus — — Équipe concernée : SEAM Équipe concernée : Interaction son musique mouvement Période : 2019-2021 Collaborations : Collegium Musicæ, Iremus, TPMC La synthèse concaténative par corpus utilise une base de données de sons enregistrés, segmentés et indexés par leurs caractéristiques Le sheng (orgue à bouche) est un instrument riche d’une longue his- sonores, telles que leur hauteur, ou leur timbre. Cette base nommée toire dont le répertoire se partage entre la tradition et le contemporain. corpus, est exploitée par un algorithme de sélection d’unités qui choisit Pour accueillir et encourager de prochaines créations, une équipe de les segments du corpus qui conviennent le mieux pour la séquence chercheurs (France, Allemagne, Autriche, Chine, Taïwan, Japon) tra- musicale que l’on souhaite synthétiser par concaténation. La sélection vaillent, au sein d’un projet conduit par l’institut Collegium Musicæ est fondée sur les descripteurs sonores qui caractérisent les enregis- de Sorbonne Université, sur l’histoire, les différents modèles d’orgue à trements, obtenus par analyse du signal et correspondant par exemple bouche, le répertoire, l’étude acoustique, l’analyse gestuelle d’improvi- à la hauteur, l’énergie, la brillance, ou la rugosité. Les méthodes de syn- sation, la combinaison de doigtés, la notation, et explorer cet instrument thèse musicale habituelles sont fondées sur un modèle du signal sonore, historique qui se prête de façon surprenante à la modernité. Toutes ces mais il est très difficile d’établir un modèle qui préserverait la totalité recherches seront accompagnées par une série de séminaires. des détails et de la finesse du son. En revanche, la synthèse concaténa- tive, qui utilise des enregistrements réels, préserve ces détails. La mise en œuvre de la nouvelle approche de synthèse sonore concaténative par corpus en temps réel permet une exploration interactive d’une base sonore et une composition granulaire ciblée par des caractéristiques sonores précises, et permet aux compositeurs et musiciens d’atteindre de nouvelles sonorités. Si la position cible de la synthèse est obtenue par analyse d’un signal audio en entrée, on parle alors d’audio mosaicing. La synthèse concaténative par corpus et l’audio mosaicing par similarité spectrale sont réalisés par la bibliothèque MuBu de modules optimisés pour Max, et dans le système CataRT, qui permet, via l’affichage d’une projection 2D de l’espace des descripteurs, une navigation simple avec la souris, par des contrôleurs externes, ou par l’analyse d’un signal audio. CataRT, comme bibliothèque de modules pour Max, comme device pour Ableton Live, ou comme application indépendante, est utilisé dans des contextes musicaux de composition, de performance et d’installation sonore variés.

Exemple de visualisation de synthèse concaténative.

30 Les projets - C1. L’atelier du son

Instruments augmentés Lutherie augmentée — — Équipes concernées : Interaction son musique mouvement, Équipe concernée : Systèmes et signaux sonores : audio/acoustique, Systèmes et signaux sonores : audio/acoustique, instruments instruments

Les instruments augmentés correspondent à des instruments acoustiques Le projet « Lutherie augmentée » est au cœur des recherches sur les ins- auxquels sont intégrés des capteurs, afin de transmettre en temps réel des truments de musique. Il a produit des prototypes d’instruments ou parties paramètres gestuels. Ces instruments sont spécialement bien adaptés au d’instruments utilisables en concert. On peut citer par exemple l’élargisse- contexte de musique mixte acoustique et électronique. ment de la gamme de sourdines des cuivres, l’étude d’un dispositif d’ac- Ces travaux s’effectuent en étroite relation avec des compositeurs et inter- cord automatique pour la timbale et la réalisation d’un bec de clarinette à prètes dont le but est d’intégrer ces technologies dans leurs œuvres. volume variable, ou encore un archet et un bec instrumentés par plusieurs Ces développements s’inscrivent également dans le cadre de recherche sur capteurs. le geste instrumental. De plus, l’Ircam conçoit et possède un instrumentarium de SmartInstru- Ce projet avait été initié par le développement du « violon augmenté », qui ments (guitares, quatuor à cordes, clarinette basse, sourdines de cuivres) s’est fortement développé, en raison d’un intérêt accru des compositeurs. munis de capteurs et d’actionneurs dont les propriétés acoustiques sont Nous travaillons désormais sur tous les instruments du quatuor à cordes, modifiables par l’instrumentiste ou le compositeur, et qui diffusent des ainsi que sur certains instruments de percussions et le piano. Diverses sons d’origines diverses sans enceinte extérieure. Cela a amené à la réali- techniques informatiques sont également développées pour analyser, sation de COALA, système embarqué de contrôle actif à très faible latence reconnaître et suivre les gestes instrumentaux. Par exemple, un vocabu- pour SmartInstruments. laire d’éléments musicaux comme des modes de jeux ou des phrases musicales peut être défini par le compositeur, et servir de base pour l’interaction avec des processus sonores comme la synthèse ou la spatialisation. Finalement, il est à noter que les instruments augmentés sont utilisés dans des créations musicales mais également dans le cadre d’applications péda- gogiques. © F. Kleinefenn © F.

Violon augmenté.

31 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

INFIDHEM Finite4SoS – Finite Time Control and Estimation for Systems Systèmes interconnectés de dimension infinie of Systems pour les milieux hétérogènes — Commande et estimation en temps fini pour les Systèmes de Systèmes – Équipe concernée : Systèmes et signaux sonores : audio/acoustique, Projet ANR instruments Financement : ANR/DFG Équipe concernée : Systèmes et signaux sonores : audio/acoustique, Période de réalisation : février 2017 – décembre 2020 instruments Partenaires : Deutsche Forschungsgemeinschaft, ISAE SUPAERO Financement : SEAM (Toulouse), LAGEP (Lyon), Kiel University Période de réalisation : septembre 2015 – décembre 2019 Collaborations et coordination : Inria Lille - Nord Europe, Sorbonne Motivés par les progrès technologiques récents dans les domaines de la Université, CRISTAL École centrale Lille, université du Littoral Côte d’Opal. mécanique, de l’aéronautique, des systèmes énergétiques et de l’ingé- nierie chimique et des nouveaux outils de calcul, l’analyse et le contrôle Les systèmes de systèmes (SoS) sont composés de sous-systèmes dyna- des systèmes à dimension infinie sont devenus un sujet d’intérêt majeur miques interconnectés avec des moyens de communication, dont la nature ces dernières décennies. Les concepts de base de la théorie des systèmes conduit à différents modèles mathématiques : équations différentielles classiques ont été progressivement généralisés à des systèmes à dimen- ordinaires, inclusions différentielles, systèmes à retardement, équations sion infinie avec des contributions issues de la communauté mathématique différentielles partielles. La révolution des technologies de l’information est et de la communauté des ingénieurs. Plus récemment, les scientifiques devenue une réalité avec ses nouveaux défis. L’un d’eux est la nécessité se sont intéressés à la compréhension de systèmes composés de sous- de gérer ces SdS avec des installations de communication, tout en exi- systèmes à paramètres distribués (décrits par des systèmes d’équations geant les meilleures performances possibles. Finite4SoS vise à développer aux dérivées partielles, des EDP) qui interagissent dans les réseaux. La un nouveau cadre prometteur pour traiter les problèmes de contrôle et majeure partie de la littérature existante sur la modélisation, l’analyse et le d’estimation des SoS soumis à cette diversité de modèles, tout en obtenant contrôle de systèmes, traite des réseaux de systèmes homogènes tels que une robustesse ainsi que des contraintes sévères de temps de réponse. les formes de barres élastiques ou les propriétés de conductivité thermique Les ingrédients clés sont : les concepts de temps fini, qui aideront à gérer des mousses métalliques. les contraintes de temps sévères ; l’homogénéité et la rétroaction variable dans le temps, qui sont les principaux outils pour atteindre la propriété de temps fini pour la convergence et la stabilité d’entrée à l’état pour chaque classe de système. Ces concepts aideront à la fois pour les connexions en cascade et les rétroactions (l’homogénéisation des rétroactions préservera la propriété en temps fini).

32 Les projets - C1. L’atelier du son

iMuSciCA CAGIMA www.imuscica.eu/ Conception acoustique globale d’instruments – de musique à anche, justes et homogènes — Équipes concernées : Systèmes et signaux sonores : audio/acoustique, instruments, Analyse et synthèse des sons Financement : ANR, programme Blanc Période de réalisation : décembre 2011 - novembre 2015 Collaborations : Laboratoire de mécanique et d’acoustique de Marseille, Équipe concernée : Systèmes et signaux sonores : audio/acoustique, Laboratoire des sciences, des procédés et des matériaux de l’université instruments Paris-13 et société Buffet-Crampon Financement : programme H2020 ICT-22-2016 Période de réalisation : janvier 2017- juin 2019 Le projet Cagima s’est intéressé aux défauts de justesse et d’homogé- Partenaires : Athena Research Center (coordinateur, Grèce), UC Limburg néité d’émission et de timbre des instruments de musique à anche, tant (Belgique), Ellinogermaniki Agogi (Grèce), 3D for All Kft (Hongrie), du point de vue de celui qui les joue, que de celui qui les fabrique, et vise Cabrilog (France), Mathematics for more (Espagne), université de Fribourg à intégrer au mieux les contraintes relatives à chacun d’eux. (Suisse) Le projet ambitionnait de remplacer l’approche incrémentale historique adoptée par les facteurs par une approche rationnelle et globale visant à iMuSciCA est un projet pédagogique visant à améliorer l’acquisition des concevoir ab initio de nouveaux instruments, appelés « logiques », mini- compétences scientifiques dans l’enseignement secondaire. misant les défauts identifiés, ce qui constitue un réel saut méthodolo- iMuSciCA apporte de nouvelles méthodologies d’apprentissage et s’appuie gique et technologique dans la facture instrumentale. sur des technologies innovantes, sur un mode personnalisé et collaboratif Il s’est agi pour cela d’évaluer d’abord les contraintes sur la production de « découverte » afin de rendre de certains enseignements scientifiques du son imposées par un instrument au musicien, via la mesure et l’in- – en particulier les maths et la physique – plus motivants. Via Modalys, terprétation du geste (pression dans la bouche, appui sur l’anche avec l’UMR STMS apporte ses compétences de lutherie musicale virtuelle afin la lèvre, configuration du conduit vocal, etc.), et de les corréler à des de donner vie à des instruments 3D élaborés par l’élève et dont certains défauts acoustiques des instruments afin de proposer des méthodolo- paramètres (géométrie, matériau, etc.) sont modifiables et testables en gies novatrices de conception globale de la perce et des trous latéraux temps réel. L’environnement iMuSciCA, implémenté grâce à une collabora- des instruments à anche. tion étroite entre différents acteurs industriels et académiques, sera testé Pour cela, l’étude de critères globaux était au centre du projet, et leur et évalué dans un programme pilote, avec un nombre substantiel d’élèves prise en compte a abouti, après un processus d’optimisation, à la fabri- et d’enseignants, dans trois pays européens : Belgique, France et Grèce. cation de prototypes jouables d’instruments.

Animaglotte Système artificiel d’animation de larynx ex vivo — Équipe concernée : Systèmes et signaux sonores : audio/acoustique, instruments Période de réalisation : 2018-2019 Collaborations : LPL-CNRS (coordinateur), LMA-CNRS, CHU La Conception-Marseille, CHU-Liège

La voix humaine peut présenter des caractéristiques acoustiques très variables selon qu’il s’agisse d’une voix chuchotée, chantée, parlée ou pathologique. Pour produire ces différents types de voix, l’être humain agit principalement sur la longueur de ses plis vocaux et sur leur degré de contact (délimitant la glotte). Notre projet vise à développer un système mécanisé d’animation ex vivo pour des larynx humains excisés post mortem. Après avoir mesuré in vivo la dynamique (amplitude et vitesse) des mouvements de la glotte nous souhaitons les reproduire via un contrôle mécanique artificiel.

33 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Système WFS et ambisonique à l’Espace de projection — Équipe concernée : Espaces acoustiques et cognitifs Financement : programme Sesame (Conseil général d’Île-de-France), CNRS, Ircam, ANR, Sorbonne Université

La technique Wave Field Synthesis (WFS) désigne un procédé de reproduc- Grâce au soutien de la région Île-de-France, du CNRS et de Sorbonne tion holophonique qui permet, par analogie avec les hologrammes visuels, Université, l’Ircam a fait l’acquisition d’un système de diffusion WFS et de capter ou synthétiser une scène sonore en préservant les informations HOA installé dans l’Espace de projection. Le système inauguré en 2012 spatiales de distance et de direction des sources qui la composent. Cette est composé, d’une part, d’une couronne horizontale de 264 haut-parleurs approche, initiée par l’université de Delft, dépasse les limites des sys- régulièrement répartis autour de la scène et du public pour la diffusion en tèmes conventionnels en termes de fidélité de reproduction sur une zone WFS et, d’autre part, d’un dôme de 75 haut-parleurs pour une diffusion d’écoute étendue. Tandis que les techniques stéréophoniques conven- tridimensionnelle en mode HOA. Cet équipement a pour double vocation de tionnelles (stéréo, 5.1) s’apparentent au trompe-l’œil et ne peuvent ainsi susciter l’exploration de nouvelles modalités de spatialisation pour la créa- être appréciées que depuis le centre du dispositif, l’holophonie a l’ambition musicale et de permettre la mise en œuvre d’expériences à caractère tion de reconstruire un champ sonore dans lequel les auditeurs peuvent scientifique consacrées à la réalité virtuelle et la cognition spatiale. Une se déplacer en gardant une perception cohérente de la localisation des partie du dispositif est mobile en sorte de permettre son installation hors sources. les murs. Il a été exploité depuis dans le cadre de nombreuses créations La technique Ambisonics consiste à représenter le champ sonore comme musicales, représentations théâtrales et installations sonores in situ ou une distribution angulaire de la pression acoustique exprimée sur une hors les murs (Operspective Hölderlin de P. Schoeller ; Le Père de M. Jar- base de fonctions périodiques de l’espace, les harmoniques sphériques. rell ; Mimesis de M. Garcia-Vitoria ; La Tragédie du Roi Richard II d’après La captation et la reproduction reposent sur des réseaux de transducteurs W. Shakespeare et mise en scène J.-B. Sastre, Cour d’honneur du Palais concentriques (sphères de microphones ou resp. de haut-parleurs) qui des papes à Avignon ; Mon Cœur parle tout seul de D. Ghisi et D. Janne- échantillonnent l’espace et sur des opérations d’encodage et décodage teau ; Disenchanted Island de O. Neuwirth et T. Rosner ; Pocket of Spaces permettant de passer du domaine des transducteurs au domaine des de N. Barett et The OpenEnded Group). harmoniques sphériques. Plus l’ordre de décomposition en harmonique sphérique est élevé, meilleure est la résolution spatiale. On parle alors de Cet équipement est actuellement indisponible en raison de la fermeture Higher Order Ambisonics (HOA). Le formalisme Ambisonics est très puis- de l’Espace de projection pour désamiantage. Réouverture attendue pour sant et permet une certaine indépendance entre le système de reproduc- 2022. tion et le format d’encodage/décodage. Il permet en outre de réaliser de manière efficace des opérations de rotation d’une scène sonore 2D ou 3D ou encore d’opérer des formations de voies (microphone virtuel directif). © M. Noisternig

Schéma d’implantation du système de diffusion dans l’Espace de projection. © Centre Pompidou – Photo H. Véronèse Pompidou © Centre

Le dispositif HOA installé dans la Grande salle du Centre Pompidou pour la pièce Pocket of Spaces de N. Barrett et The OpenEndend Group.

34 Les projets - C1. L’atelier du son

Écoute binaurale ORPHEUS — Object Based Broadcasting Équipe concernée : Espaces acoustiques et cognitifs orpheus-audio.eu — Les appareils personnels (smartphones, tablettes) concentrent de multiples fonctions et représentent le principal vecteur de diffusion de contenus musicaux. À mesure que l’audience dérive vers ces nouveaux équipements, l’écoute binaurale sur casque d’écoute gagne du terrain et symbolise la notion d’expérience personnelle en donnant accès en théorie à la reproduction de scènes tridimensionnelles. Cette reproduction binaurale est basée Équipe concernée : Espaces acoustiques et cognitifs sur le filtrage dynamique de la source sonore par les fonctions de transfert Financement : UE - H2020-ICT-2015 de la tête (Head-Related Transfer Function, HRTF) préalablement mesurées Période de financement : décembre 2015 - mai 2018 sur la tête d’un auditeur ou d’un mannequin. Cependant, la dépendance Partenaires extérieurs : Fhg IIS, BBC, Bayerischer Rundfunk, IRT, B-COM, individuelle de ces HRTFs a jusqu’à présent limité sa diffusion grand public. Magix, Trinnov-Audio, ElephantCandy, Eurescom À l’occasion du projet BiLi (financement FUI), l’environnement de mesures des HRTFs dans la chambre anéchoïque de l’Ircam a fait l’objet d’une mise Les media orientés « objets » constituent une approche prometteuse pour la à jour matérielle et logicielle permettant d’augmenter considérablement la création et le déploiement de contenus immersifs, interactifs et personna- résolution spatiale par rapport aux bases de données disponibles. Le nouvel lisables. Ils consistent à représenter le contenu sous forme d’un ensemble échantillonnage spatial (1680 directions) autorise une décomposition en de flux de signaux individuels (vidéo et/ou audio) associés à des méta- harmoniques sphériques d’ordre élevé, utile pour diverses phases d’exploi- données décrivant leurs relations temporelles et spatiales. Cette approche tation (interpolation spatiale, transcodage HOA / binaural). permet non seulement l’adaptation du contenu à différents dispositifs de Le partage des bases de données de HRTFs au sein de la communauté restitution mais peut aussi enrichir considérablement l’expérience de l’uti- internationale a motivé la démarche de standardisation d’un format lisateur en offrant notamment différents degrés d’interactivité : réglage de d’échange. Issu d’une collaboration internationale, le format SOFA (Spa- l’équilibre entre objets de premier ou de second plan, navigation spatiale, tially Oriented Format for Acoustics), approuvé par l’instance de standar- décours non linéaire, adaptation au contexte d’écoute (diffusion publique, disation de l’Audio Engineering Society, permet le stockage de données écoute domestique, écoute au casque en mobilité…). acoustiques spatiales telles que des HRTFs ou les SRIRs. L’Ircam a mis en Le projet ORPHEUS vise à développer et valider une chaîne de production place un serveur OPenDAP (Open-source Project for Network Data Access audio complète, du studio à l’auditeur final, permettant de créer, trans- Protocol) qui héberge différentes bases de données HRTFs au format SOFA mettre et enfin recevoir ce type de contenu « objet » sur différentes plate- et auquel des applications clientes (applications web, Matlab, etc.) peuvent formes (récepteur audio-vidéo, smartphone, navigateur web). Cette chaîne adresser des requêtes de téléchargement (une HRTF spécifique, une tête s’appuie sur le standard ADM (Audio Definition Model) recommandé et complète, etc.). défini par différentes instances internationales (European Broadcast Union Le travail sur l’individualisation des HRTFs se poursuit, notamment sous et International Telecommunication Union). forme d’estimation des HRTFs ne requérant ni mesures acoustiques ni Au sein du partenariat de recherche, l’Ircam s’occupe plus spécifiquement mesures morphologiques. Certaines méthodes exploitent les bases de don- des aspects liés à la caractérisation, la synthèse et la transmission des nées désormais disponibles pour guider l’utilisateur dans la sélection du effets de réverbération. À cette fin, l’Ircam a développé une suite logicielle jeu de HRTFs le plus approprié (projet RASPUTIN, p. 36). Une nouvelle voie dédiée à l’enregistrement, la lecture et la restitution de contenus audio proposée s’appuie sur le recours aux méthodes d’apprentissage profond encodés en format ADM (cf. rubrique « logiciels » ADMix Tools, p. 64). (projet HAIKUS, p. 37) et l’analyse en aveugle d’enregistrements binauraux effectués sur l’auditeur en conditions non contrôlées (milieu réverbérant, signaux quelconques, sources et auditeur en mouvement).

Architecture de traitement pour la création, la diffusion et la réception de contenus audio en format « objet ».

35 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

C2. Le corps musicien

RASPUTIN COSMOS — Computational Shaping and Modeling of Musical Structures Équipe concernée : Espaces acoustiques et cognitifs cosmos.cnrs.fr Financement : ANR, programme AAP 2018 — Période de réalisation : novembre 2018 – avril 2022 Équipes concernées : Représentations musicales Partenaires extérieurs : IJLRA (Sorbonne Université / CNRS), Financement : European Research Council Advanced Grant d’Elaine Chew université Paris Descartes , Novelab (2019 – 2024)

RASPUTIN est un projet de recherche fondamentale collaboratif La performance en tant qu’acte créatif a été largement reconnue, mais la à l’intersection des « Sciences et Technologies du Numérique » et de nature de cette créativité reste insaisissable. Dans le projet Cosmos, nous la « Psychologie ». Il vise à réduire la complexité cognitive de la naviga- estimons que cette créativité réside dans la création et la mise en forme tion pour les non-voyants dans un nouvel environnement intérieur, et ce, des structures musicales, et que cette pensée créative prend la forme d’une grâce à des simulations numériques et des explorations en réalité vir- activité de « résolution de problème ». Cosmos vise à transformer la com- tuelle en audio 3D. Ces explorations permettent d’élaborer mentalement préhension commune de l’expérience humaine de la musique interprétée, une carte cognitive de ces environnements encore jamais physiquement qui constitue presque toute la musique que nous entendons, et de la créa- explorés. tivité inhérente à l’interprétation musicale, qui conditionne la façon dont L’enjeu technique principal du projet est de générer un rendu audio réa- la musique est produite. liste d’un édifice (auralisation) en temps réel en s’appuyant, d’une part, Cosmos utilise la science des données, l’optimisation, l’analyse des don- sur la librairie de spatialisation Spat~ (cf. p. 35) et, d’autre part, sur la nées et la science citoyenne pour étudier les structures musicales telles librairie Evertims dédiée à la simulation de la propagation acoustique qu’elles sont expérimentées et créées dans la performance. Le projet étudie dans un modèle numérique décrivant les paramètres architecturaux de des sources inhabituelles comme les données cardiaques arythmiques. l’édifice. Les thèmes de recherche généraux du projet Cosmos sont les suivants : Trois composantes sont essentielles à la création d’auralisations réalistes i) trouver de nouvelles façons de représenter et d’explorer les variations et interactives en RV : la création/édition de scènes (audio-visuelle), la dans les performances enregistrées et les séquences variant dans le qualité et le coût de calcul des simulations réalisées et la gestion des temps ; ii) étudier le mode de pensée des volontaires (science citoyenne) interactions entre l’utilisateur et les éléments de la scène. Pour focaliser pour la recherche sur la performance musicales en se concentrant sur les nos efforts sur la simulation acoustique, nous avons articulé Evertims structures expérimentées et la résolution de problèmes ; iii) créer des envi- autour de graphes de scène existants. Le module fonctionne aujourd’hui ronnements expérimentaux pour la création de telles structures; iv) créer de pair avec Blender et/ou Unity, le premier servant d’éditeur de scène, des cadres théoriques pour découvrir les raisons qui expliquent les struc- le second de moteur de rendu graphique et d’interaction. tures perçues et réalisées ; v) encourager la participation communautaire La capacité du module à produire des auralisations réalistes fera en formant des experts (notamment des musiciens retraités) pour fournir notamment l’objet de tests d’écoute et comparaison objective avec des commentaires sur les structures, afin que le public comprenne mieux une référence. Les développements informatiques développés dans ce la création dans la performance musicale. projet pourront également être appliqués à différents champs artis- La plateforme de science citoyenne développée dans Cosmos permettra au tiques exploitant les techniques de réalité virtuelle ou encore pour la grand public d’annoter et de déconstruire les structures créées dans les préfiguration d’installations sonores (cf. p. 52, Composition Urbaine et performances musicales, et d’explorer l’espace des interprétations musi- Paysagère), l’étude archéologique (cf. p. 27, Temple de Dendara) et la cales possibles. Les outils et techniques mathématiques permettant de médiation culturelle. caractériser les variations et les motifs des musiques interprétées et des séquences électrocardiographiques élargiront les outils mis à la disposition des chercheurs en information musicale, des mathématiciens, des musicologues, des pédagogues de la musique, des psychologues de la musique et des musicothérapeutes. Les applications de la plateforme et des outils Cosmos comprendront des projets artistiques, des événements d’engagement du public et la communication des sciences de la musique. © Ircam-Centre Pompidou © Ircam-Centre

Étapes d’auralisation d’une salle avec le module Evertims de Spat~. 1) Création du modèle 3D dans Blender. 2) Gestion de la scène (sources et auditeur) dans Unity. 3) Simulation et rendu sonore en temps réel (Spat~).

36 Les projets - C2. Le corps musicien

HEART.FM HAIKUS Maximizing the Therapeutic Potential of Music through Tailored Therapy Réalité augmentée et apprentissage artificiel with Physiological Feedback in Cardiovascular Disease — — Équipe concernée : Espaces acoustiques et cognitifs Équipes concernées : Représentations musicales Financement : ANR AAP19 Financement : European Research Council Proof of Concept Grant Période de réalisation : décembre 2019 – mai 2023 Période de réalisation : septembre 2020 - février 2022 Partenaires extérieurs : MPIA (CNRS-SU), LORIA (INRIA, Univ. Lorraine) Partenaires : University College London, CNRS Innovation Les applications de réalité augmentée auditive reçoivent un intérêt crois- Heart.FM est un projet de preuve de concept lié à Cosmos. sant dans différents domaines applicatifs comme la création artistique, la médiation culturelle, la communication ou le divertissement. L’audition Les maladies cardiovasculaires sont la première cause de décès dans joue un rôle majeur dans la sensation d’immersion de l’utilisateur et la le monde, et l’hypertension est le principal facteur de risque médical. qualité d’expérience ressentie. Intégrer des événements sonores virtuels La réduction de la pression artérielle chez les patients hypertendus a préenregistrés ou générés automatiquement dans l’environnement réel des effets cardiovasculaires positifs, et l’écoute de musique offre des de l’utilisateur peut procurer une sensation interactive attrayante et peut moyens non pharmacologiques de réguler le rythme cardiaque et la pres- être exploitée par exemple pour les jeux vidéo, les audio-guides ou de sion artérielle. Actuellement, la manière la plus efficace d’administrer nouvelles formes de dramatiques radio. L’enjeu majeur des applications des inventions musicales ayant des effets durables est à forte intensité de réalité augmentée auditive réside dans la capacité à intégrer ces évé- de main-d’œuvre et repose sur les intuitions des thérapeutes profession- nements sonores sans hiatus perceptif, c’est-à-dire avec un rendu spatial nels, ce qui la rend non extensible à de vastes cohortes. HEART.FM est s’adaptant en permanence aux conditions acoustiques de l’environne- une initiative de création d’applications visant à démocratiser l’accès à ment réel, par exemple en fonction du mouvement des sources ou lors de des interventions personnalisées de thérapie musicale, éclairées par un la déambulation à travers différents espaces. L’objectif du projet HAIKUS retour d’information physiologique. est l’exploitation conjointe de méthodes d’apprentissage artificiel (AA) et L’objectif est de préparer HEART.FM à un déploiement à grande échelle de traitement du signal audio afin de résoudre les problèmes acoustiques dans le cadre d’essais de recherche contrôlés et randomisés, afin d’éta- rencontrés dans le cadre des applications de réalité augmentée. Les blir des relations de cause à effet entre la musique et l’hypertension pour méthodes d’AA sont notamment appliquées pour l’identification automa- les personnes en bonne santé ainsi que pour les patients hypertendus. tique du canal acoustique entre les sources et l’auditeur. L’intégration HEART.FM profitera à la communauté des chercheurs en offrant un por- sans hiatus perceptif des sons virtuels dans l’environnement réel néces- tail à forte fréquentation pour la collecte de données de recherche sur site l’estimation des caractéristiques acoustiques de la salle ou du site les maladies cardiovasculaires et les thérapies préventives basées sur de sorte à adapter automatiquement le traitement de réverbération la musique. Le PoC explorera des solutions de commercialisation et de appliqué aux sources virtuelles. L’enjeu est alors l’estimation en aveugle marché dans les secteurs de la musique et de la médecine. des paramètres acoustiques (temps de réverbération, rapport son direct / son réverbéré) ou des caractéristiques architecturales de la salle (volume et forme de la salle, absorption des parois) à partir de la simple observation des signaux audio réverbérés émanant des sources réelles présentes dans la salle. L’adhésion de l’utilisateur à la scène auditive augmentée repose sur une évolution des indices acoustiques réaliste et congruente avec son déplacement dans la scène et le mouvement des sources virtuelles. Ceci nécessite l’inférence de règles plausibles de modification des paramètres de spatialisation ou la mise en œuvre de techniques d’interpolation de réponses impulsionnelles de salle en fonction des mouvements relatifs des sources et de l’auditeur. Les scènes sonores virtuelles interactives sont typiquement rendues en mode binaural sur casque d’écoute. Il est établi qu’une restitution binaurale convaincante requiert l’usage d’HRTFs individuelles qui devraient être idéalement mesurées pour chaque utilisateur en chambre anéchoïque avec des signaux parfaitement calibrés. On se propose d’estimer en aveugle les HRTFs du participant à partir de l’observation des signaux binauraux captés dans les environnements quotidiens et de manière non supervisée (sources quelconques et en mouvement).

37 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

ARS MoVE Analyse et transformation de style de chant Modélisation générative des attitudes de la voix et application ars.ircam.fr à un agent conversationnel expressif — — Équipe concernée : Analyse et synthèse des sons Équipe concernée : Analyse et synthèse des sons Financement : ANR Révolution numérique : rapports aux savoirs Financement : Allocation doctorale 2019 « Paris Region PhD » financée par et à la culture (CE38) la Région Île-de-France Période de réalisation : janvier 2020 – juin 2023 Période de réalisation : septembre 2019 – septembre 2022 Partenaires extérieurs : Institut d’Alembert (Sorbonne Université), Passages Partenaires extérieurs : PSA XX-XXI (université de Lyon), Flux::audio. Dans un contexte où les assistants personnels et les interactions avec les Le style de chant est un attribut important de l’interprétation chantée, machines deviennent une réalité quotidienne pour l’être humain, la voix qui affecte profondément la perception et la réception subjectives de la s’est imposée comme une modalité privilégiée de l’interaction avec la musique. Récemment, des musicologues se sont lancés dans une étude machine. En particulier, la synthèse vocale a réalisé d’énormes progrès ces des styles de chant dans le domaine de la musique populaire, un domaine dernières années, notamment par l’utilisation de l’apprentissage profond où, dans le même temps, les effets numériques appliqués au chant sont et de grandes bases de données multi-locuteurs. Les limitations principales devenus si répandus que la vaste majorité des musiques populaires ont sont d’une part une faible expressivité : le comportement de l’agent est aujourd’hui recours à au moins un des plugins disponibles sur le marché. encore souvent monomodale (voix, comme les assistants Alexa ou Google Dans ce contexte, le projet ARS aspire à instaurer une collaboration, béné- Home) et demeure très monotone, ce qui limite grandement l’acceptabilité, fique pour tous, entre les musicologies étudiant l’interprétation chantée la durée et la qualité de l’interaction; et d’autre part le comportement de (qui relèvent des humanités), les ingénieurs travaillant à la transformation l’agent est peu ou pas adapté à l’interlocuteur ou à la situation d’interac- de la voix chantée (sciences numériques) et les développeurs spécialistes tion, ce qui diminue sa compréhension de l’information et son temps de des logiciels destinés aux professionnels de l’audio. réaction à l’information transmise. Le projet ARS a deux objectifs principaux : le premier est de mettre au point Le projet MoVE développera des algorithmes d’apprentissage neuronaux de nouveaux moyens d’étude des styles de chant dans le domaine de la permettant d’adapter le style de parole d’une voix de synthèse pour performance musicale. Le deuxième est de développer des algorithmes l’adapter à une situation d’interaction spécifique, avec par exemple un de modification expressive du style de chant de haute qualité. Parmi les focus sur des attitudes de la voix de synthèse (cordiale, souriante, autori- nombreuses caractéristiques stylistiques relatives au chant, le projet ARS taire, etc.). La meilleure adaptation du style de la voix permettra d’améliorer se concentrera sur ceux qui ont un lien direct avec le style personnel, c’est- la compréhension de l’information communiquée par l’agent et de réduire à-dire sur les effets stylistiques auxquels un chanteur peut choisir d’avoir le temps de réaction de l’humain aux informations communiquées (par recours au cours de sa performance dans le but de créer un effet interpré- exemple en situation d’urgence). tatif. Cela inclut les modifications de l’intonation et des contours d’intensité de même que des caractéristiques vocales telles que : la rugosité, le gro- gnement, le souffle, le belting, ou leormant f du chanteur.

38 Les projets - C2. Le corps musicien

Musique et plasticité cérébrale Perception de la distance auditive en réalité augmentée — — Équipe concernée : Espaces acoustiques et cognitifs Équipe concernée : Espaces acoustiques et cognitifs Partenaires extérieurs : université de Lille Ce travail s’inscrit dans le cadre d’une étude plus vaste sur la modélisa- Ce travail, mené en collaboration avec l’université de Lille, se concentre tion et la perception spatiale dans le contexte de la réalité augmentée sur les effets cognitifs de la musique dans le vieillissement patholo- auditive. Dans un tel contexte, où l’environnement réel est enrichi par un gique. La maladie d’Alzheimer est une maladie neurodégénérative qui ensemble d’événements sonores virtuels, une problématique importante affecte le fonctionnement cognitif, émotionnel et social des individus. est de garantir la cohérence de la perception spatiale de ces événements Compte tenu de l’efficacité limitée des approches pharmacologiques, sonores virtuels et des sources sonores réelles ou ancres visuelles pré- des traitements non médicamenteux et en particulier des interventions sentes dans la salle. Assurer cette cohérence nécessite, en particulier, musicales sont fréquemment proposés pour surmonter ces difficultés. le choix d’un modèle de gestion de l’effet de distance sonore et l’accès à Cependant, les facteurs qui expliquent leur efficacité ne sont pas clai- des informations sur les propriétés acoustiques de la salle. rement identifiés. Le but de ce projet est d’évaluer les facteurs influen- L’objectif d’une première étude était d’évaluer les performances d’un çant l’engagement socio-émotionnel et moteur de patients atteints de modèle, informé par la donnée d’une unique réponse impulsionnelle la maladie d’Alzheimer pendant une activité musicale, ainsi que leurs directionnelle mesurée dans le lieu réel, pour contrôler la distance appa- capacités à synchroniser leurs mouvements avec le rythme musical. Pour rente d’une source virtuelle. Au sein de ce modèle, l’effet de distance cela, des patients atteints de la maladie d’Alzheimer et des participants sonore est rendu par la modification de l’énergie de différents segments contrôles appariés ont réalisé une tâche de synchronisation sensorimo- temporels de la réponse impulsionnelle de base. Les réponses impulsion- trice, consistant à taper avec la main au rythme d’un métronome ou de nelles ainsi extrapolées sont ensuite exploitées dans un moteur de rendu musique en présence d’un musicien. Le musicien réalisait la tâche de par convolution pour placer la source virtuelle à différentes distances synchronisation avec le patient. Il pouvait être physiquement présent en de l’auditeur. face du patient (condition live), ou virtuellement présent à travers une L’évaluation des performances du modèle a fait l’objet d’un protocole vidéo préenregistrée et projetée en taille réelle en face du patient (condi- de test perceptif dans lequel le participant était placé dans une situation vidéo). Les résultats montrent l’importance du contexte musical tion de réalité augmentée sonore dans laquelle il devait juger la distance et des interactions sociales sur les performances de synchronisation, d’une source sonore virtuelle en présence d’une série d’ancres visuelles mais également sur l’implication sociale, émotionnelle et motrice des (chaises). Les performances du modèle étaient menées par comparaison participants atteints de la maladie d’Alzheimer. Ces résultats ouvrent avec des réponses impulsionnelles binaurales de référence, mesurées des perspectives thérapeutiques prometteuses, avec notamment la pos- dans la salle de test pour chaque distance testée. L’analyse statistique sibilité de compléter les prises en charges actuelles par des activités des résultats, collectés sur 40 participants au cours de deux sessions, musicales régulières grâce à l’utilisation d’enregistrements vidéo et de démontre les performances équivalentes, d’un point de vue perceptif, la technologie mobile. de ce modèle face aux mesures de référence. Les critères jugés dans l’analyse sont la distance moyenne perçue, la variabilité inter-sujets et intra-sujet. © PSITEC EA 4072

Dispositif expérimental. [À gauche] Le participant tape sur la tablette en réponse au rythme des séquences

auditives (musique ou métronome). En face, le musicien tape également sur une Pompidou © Ircam-Centre tablette avec sa main au rythme des séquences auditives. Protocole de test pour l’évaluation perceptive de modèles de distance auditive dans [À droite] Manipulation de la présence sociale : la performance du musicien pouvait être une cadre de réalité augmentée préenregistrée et diffusée sur un écran à taille réelle (en haut), ou être live (en bas)

39 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

ACTIVATE SEPIA Augmenting the value of conversations with voice technologies Sensory and Emotional Processing in Autism spectrum disorders Projet ERC Projet ANR Programme blanc — — Équipe concernée : Perception et design sonores Équipe concernée : Perception et design sonores Financement : ERC Proof of Concept Financement : ANR Programme Blanc (Neurosciences intégratives et Période de réalisation : 2020 – 2022 cognitives) Partenaires extérieurs : Altavoce SAS, CNRS Innovation Période de réalisation : 2020 – 2024 Partenaires extérieurs : Unité Imagerie et Cerveau (iBrain, Inserm Le projet ACTIVATE a pour objectif de valoriser des technologies de U1253), université de Tours transformation temps réel de voix issues du projet ERC CREAM, en augmentant la valeur économique de conversations parlées en permettant Le projet SEPIA combine l’expertise de l’équipe PDS en matière de tech- de contrôler leurs caractéristiques émotionnelles. Par exemple, dans le niques innovantes en psychoacoustique et celle de l’unité Imagerie et contexte d’une conversation de relation-client au téléphone, l’algorithmie Cerveau de l’Inserm/université de Tours (Dr Marie Gomot) dans l’étude de la transformation de voix peut rendre la voix d’un client énervé 10 % neuroscientifique des troubles du spectre autistique (TSA). moins agressive, réduisant ainsi la fatigue émotionnelle des employés à Le diagnostic de l’autisme requière la présence conjointe de troubles de la fin de la journée, ou rendre la voix d’un opérateur 10 % plus digne de la communication sociale et de comportements répétitifs et restreints. confiance, augmentant ainsi la satisfaction client après l’appel. Le projet Pourtant, peu d’études sur le TSA intègrent les domaines socio-émo- ACTIVATE est une collaboration entre chercheurs et business develop- tionnel et perceptif. Ainsi, il reste encore à établir si les difficultés des pers et va réaliser (1) des analyses de marché et des entretiens avec des TSA sont liées à des déficits émotionnels spécifiques, à des particularités acteurs du monde socio-économique pour identifier des situations de sensorielles qui seraient encore plus marquées pour des stimuli sociaux, conversation dans lesquelles de telles technologies peuvent être tester, ou aux deux. (2) identifier quelles indicateurs de performance post-conversation sont En utilisant le sourire vocal comme modèle, chaque étape majeure de la pertinentes pour le marché, (3) mesurer l’impact des transformations sur boucle Perception-Représentation-Action sera explorée chez les mêmes ces indicateurs, soit en grandeur nature, soit dans un environnement patients, enfants et adultes. Au niveau perceptif, les corrélats neuro- de test simulé en laboratoire et (4) utiliser ces résultats pour estimer la naux de l’encodage de la régularité auditive aux stimuli émotionnels valeur d’un éventuel produit, qui sera valorisé par la startup partenaire seront étudiés en électrophysiologie (EEG), tandis que des trains de voix Altavoce (www.altavoce.tech). répétées souriantes ou neutres seront présentés aux participants. Les Les résultats du projet ERC CREAM ouvrent des perspectives socio- représentations mentales du sourire auditif prototypique et le mimé- économiques, que le projet ERC ACTIVATE se donne comme objectif de tisme moteur et autonome seront étudiés grâce au recueil de données valoriser. comportementales (reverse corrélations) et physiologiques (électromyo- graphie faciale, pupilométrie) respectivement, alors que les participants écoutent et jugent des expressions vocales souriantes ou non. Ce projet permettra de dissocier les processus perceptifs et émotion- nels, et de déterminer à quel niveau les processus physiopathologiques peuvent intervenir, offrant ainsi un nouvel éclairage mécanistique sur les difficultés socio-émotionnelles des TSA.

40 Les projets - C2. Le corps musicien

REFLETS ELEMENT Rétroaction émotionnelle faciale et linguistique, Stimuler l’apprentissage de mouvements et états de stress post-traumatique dans les interactions humain-machine Projet ANR « AAP GENERIQUE 2017 » element-project.ircam.fr — — Équipe concernée : Perception et design sonores Équipe concernée : Interaction, son, musique, mouvement Financement : ANR, programme blanc « Technologies pour la santé » Financement : ANR, projet AAP Période de réalisation : octobre 2017 – septembre 2021 Période de réalisation : novembre 2018 – octobre 2021 Partenaires extérieurs : CentraleSupélec (Rennes, France – Coordinateur : Ircam coordinateur), UMR 8257 Cognac-G (CNRS Paris-Descartes/Service Partenaires : LRI, LIMSI-CNRS de Santé des Armées), Hôpital militaire Percy et Institut de recherche biomédicale des Armées (France), Dynamixyz (France), HumanEvo La plupart des interactions basées sur le mouvement proposent des inter- (France), Chanel (France) faces « intuitives » et des vocabulaires gestuels triviaux. Bien que ceux- ci facilitent l’adoption, ils limitent néanmoins les possibilités d’inter- Le projet REFLETS (Rétroaction émotionnelle faciale et linguistique et états actions plus complexes, expressives et véritablement incarnées. Nous de stress post-traumatique) vise l’amélioration de la prise en charge des proposons de passer des notions d’intuitivité à des notions d’ “apprena- personnes souffrant de troubles de stress post-traumatique (TSPT) via un bilité”. Notre projet aborde à la fois des problèmes méthodologiques et dispositif technologique agissant sur leur capacité à percevoir et réguler de modélisation computationnelle. leurs propres émotions. Le projet est basé sur de récentes technologies Premièrement, nous devons élaborer des méthodes pour concevoir des développées à l’Ircam sur la manipulation temps réel des indices du sourire vocabulaires de mouvements, lesquelles seraient faciles à apprendre et à dans la voix parlée, et à CentraleSupélec sur la manipulation vidéo des composer afin de créer des phrases de mouvement riches et expressives. indices visuels du sourire sur les visages. Deuxièmement, nous devons concevoir des modes les computationnels Les efforts de REFLETS se concentrent dans trois domaines disciplinaires : capables d’analyser les mouvements des utilisateurs en temps réel pour du point de vue des sciences de l’information, le projet vise à développer fournir divers mécanismes de feedback et de guidage multimodaux (par une technologie de « miroir émotionnel » dans lequel un participant peut exemple visuels et auditifs). se voir et s’entendre parler, avec un ton émotionnel manipulé algorithmi- Trois questions de recherche fondamentale : 1) Comment concevoir des quement (en pratique, se voir et s’entendre sourire alors que l’on s’exprime mouvements et des gestes, formés de composants faciles à apprendre, avec un ton neutre). Du point de vue de la psychologie et neurosciences tout en permettant des techniques d’interactions complexes au-delà des cognitives, le projet vise à étudier les mécanismes de perception de soi simples commandes ? 2) Comment rendre compte de l’apprentissage sen- et de métacognition impliqués dans ce paradigme de faux feedback, des sori-moteur avec des modélisations computationnel du mouvement et de travaux préliminaires ayant déjà établi que le fait de s’entendre parler avec l’interaction ? 3) Comment optimiser des systèmes mes de feedback et un ton de voix plus joyeux a un effet positif sur les émotions du locuteur guidages informatique afin de faciliter l’acquisition de compétences ? (Aucouturier et al., PNAS 2016). Enfin, du point de vue clinique, le projet L’objectif à long terme est de favoriser l’innovation dans l’interaction vise à tester l’impact thérapeutique d’un tel dispositif dans la prise en multimodale, de la communication non verbale à l’interaction avec charge des déficits de perception de soi et de régulation émotionnelle médias numériques dans des applications créatives. (alexithymie) dans les troubles post-traumatiques. Le projet permet la mise en place d’essais cliniques sur des patients TSPT, notamment depuis 2019 dans le cadre d’une nouvelle collaboration avec le CHU de Lille.

41 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

theVOICE EmoDemos Design de voix pour l’industrie créative Interactions musicales, empathie et développement. — L’apprentissage musical dans le projet DEMOS au prisme Équipe concernée : Analyse et synthèse des sons des sciences cognitives. Financement : ANR, programme Société de l’information et de la com- — munication (DS07) Équipe concernée : Interaction son musique mouvement Période de réalisation : janvier 2018 – juin 2021 Financement : Philharmonie Partenaires extérieurs : LIA (Laboratoire d’informatique d’Avignon), Période de réalisation : janvier 2018 – juin 2019 Dubbing Brothers Partenaires : Centre interfacultaire des sciences affectives - université de Genève (coordinateur), université de Gênes, Philharmonie de Paris Le projet theVoice s’attaque à la création de voix pour la production de contenu dans le secteur de l’industrie créative (films, séries, documen- L’objectif principal du projet EmoDemos était de comprendre comment la taires), secteur très important en termes de potentiel industriel mais pratique orchestrale telle que proposée par DEMOS : extrêmement exigeant en termes de qualité. Le projet s’appuie sur un a) renforce les habilités sensorimotrices, constat simple : la production de voix demeure exclusivement effectuée b) développe chez l’enfant l’ensemble des fonctions exécutives essentielles par des opérateurs humains dans un secteur quasi exclusivement numé- pour réguler le comportement, rique. Les objectifs scientifiques et technologiques du projet visent à c) comment cette pratique collective favorise l’émergence de compétences modéliser la « palette vocale » d’un acteur pour permettre la recomman- dites « non-techniques » (soft skills), cognitives et émotionnelles centrales dation de voix par similarité, et la création de voix artificielles capables pour établir une relation et s’inscrire dans un groupe. de reproduire l’identité vocale d’un acteur. Le projet créera une rupture Les méthodes mises en place dans cette étude ont cherché à caractériser des usages par la réalisation et l’industrialisation de nouvelles tech- ce développement cognitif et émotionnel durant les années de la formation nologies pour la création de contenus vocaux naturels et expressifs. DEMOS. Dans ce contexte, l’équipe ISMM a implémenté une série de tests Le consortium, porté par un acteur majeur du secteur de l’industrie pilotes destinés à mesurer certaines aptitudes liées à la pratique collective, de la création de contenus numérique et constitué de laboratoires de telles que la synchronisation, l’imitation ou le partage, à travers des scéna- recherches reconnus, ambitionne de consolider une position d’excel- rios d’interactions musicales collectives. lence de la recherche et des technologies numériques made in France et la promotion de la culture française à travers le monde.

42 Les projets - C2. Le corps musicien

CREAM Symbioz Cracking the Emotional Code of Music Design sonore et interface homme-machine cream.ircam.fr pour le véhicule électrique et autonome — — Équipe concernée : Perception et design sonores Équipe concernée : Perception et design sonores Financement : programme ERC Starting Grant 335536 Financement : Groupe Renault Période de réalisation : octobre 2014 – septembre 2019 Période de réalisation : 2016 – 2017 Partenaires extérieurs : Centre de recherche de l’Institut du cerveau Collaborations : Renault – dept Design et Laboratoire collaboratif et de la moelle épinière (CRICM UMR7225). d’innovation (LCI)

Le projet CREAM s’est donné pour objectif de produire les technologies Projet de véhicule électrique et autonome, la démo-car Renault Symbioz et les connaissances permettant de caractériser précisément quel type de incarne la vision du constructeur, à l’horizon 2030, en termes de nou- signal vocal ou musical est capable de déclencher quel type de mécanisme velles mobilités et de nouveaux usages de l’automobile. Ce projet est le cérébral d’induction émotionnelle fruit d’une collaboration entre les laboratoires de Design et Innovation de La recherche en cognition musicale jusqu’à présent repose principale- Renault et l’équipe PDS associée au designer sonore, Andrea Cera. ment sur des corrélations effectuées entre des réactions émotionnelles Le projet Symbioz comporte deux enjeux majeurs : la conception d’une relativement indistinctes et des stimuli musicaux peu contrôlés : on sait signature sonore extérieure et la conception d’une gamme de sons de que la musique peut créer des émotions, mais on ne sait pas comment. signalétique intérieure. Le projet CREAM a permis de combiner les méthodes actuelles de neu- La signature sonore est activée entre 0 et 30 km/h – plage de vitesse rosciences avec un très haut niveau de technicité de traitement du signal, durant laquelle la voiture électrique est silencieuse. Ses caractéristiques pour fabriquer, pour la première fois, des stimuli sonores capables d’activer sont issues de deux projets précédents élaborés par la même équipe (le ou d’inhiber sélectivement certains des circuits corticaux impliqués dans concept-car Trezor et le modèle de série Zoé). Sa sonorité, puissante sans le traitement émotionnel, afin de les étudier en isolation. Par exemple, le être agressive, est un hybride entre composants électriques et turbine, projet a permis de mettre en évidence un phénomène d’imitation faciale du avec un léger rappel au moteur à combustion. sourire dans la parole en construisant des sons vocaux ayant des caracté- La signalétique intérieure (IHMs sonores) a été développée, de manière ristiques spectrales évoquant celles du sourire. innovante, sur la base de deux concepts majeurs : Ces nouvelles techniques de contrôle expérimental permettent d’étendre • l’exhaustivité : le cahier des charges du projet demandait de traiter la notre compréhension actuelle des mécanismes cérébraux d’induction émo- totalité des interactions conducteur/passager/habitacle liées au fonctionnelle, mais aussi de concevoir de nombreuses applications cliniques de tionnement de la Symbioz. À ce titre, le mode de conduite autonome thérapie ou de diagnostic dans le cadre de la dépression ou des maladies ouvre un champ inédit en termes d’experience-utilisateur et repré- neuro-dégénératives. En d’autres termes, le projet CREAM fait du son – de sente un nouveau défi de design sonore : comment communiquer les la musique et de la voix en particulier - une véritable technologie clinique différents niveaux d’autonomie de la voiture ? Comment rassurer les capable de mobiliser des circuits neuronaux de façon ciblée, non-intrusive passagers lorsque la voiture est en mode de conduite autonome ? et non-pharmacologique. • la spatialisation : le projet a été l’occasion de développer un concept original d’IHM sonores spatialisées. Chaque son émis dans l’habitacle (clignotants, alarmes, sons informatifs, etc.) est positionné dans un espace acoustique virtuel. En bougeant légèrement dans l’espace, ces signalétiques sonores s’adaptent aux différents modes de conduite et deviennent aussi moins intrusives et plus naturelles – les change- ments de position se traduisant par de subtiles altérations de timbre dûes au déphasage et à la réverbération sur les parois de l’habitacle. Les travaux sur le design sonore de Symbioz ont été distingués par les professionnels internationaux en tant que « Better Sound 2018 » de l’Audio Branding Academy.

43 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

CoSiMa Projet KRUG Médias collaboratifs situés Design sonore immersif pour une expérience cosima.ircam.fr de dégustation augmentée — — Équipes concernées : Interaction son musique mouvement, Équipes concernées : Perception et design sonores, Espaces acoustiques et cognitifs Espaces acoustiques et cognitifs Financement : ANR, programme Contenus et interactions Financement : Maison KRUG Période de réalisation : novembre 2013 - avril 2017 Période de réalisation : 2017 – 2018 Partenaires extérieurs : Orbe, EnsadLab, ID Scenes, ESBA TALM, No Design Collaborations : Maison Krug – Équipe œnologique et dir. Communication Coordinateur : Ircam et Marketing, Ircam dept Production, société Amadeus

Les dix dernières années ont vu une forte évolution des médias dans leur Le projet Krug est le fruit d’une collaboration constructive avec l’une relation au corps et à l’espace avec les interfaces tangibles, la réalité aug- des plus anciennes Maison de champagne française (1843). Il vise une mentée et le web ambiant. Dans ce mouvement, le projet CoSiMa proposait expérience de dégustation multisensorielle augmentée, en associant des d’explorer la relation entre corps, média et espaces à travers de nouvelles pièces sonores avec des cuvées de champagne conçues à partir de vins interfaces et outils de création collaboratifs. élémentaires provenant de différentes régions. Son objectif est de créer des CoSiMa visait la mise en œuvre d’une plateforme pour l’édition et la dif- correspondances entre les caractéristiques œnologiques de ces régions et fusion de médias situés dans l’espace, le temps, et combinant plusieurs des propriétés sonores établies, afin de d’informer la conception sonore modalités sensorielles. Le projet CoSiMa s’est articulé selon trois axes et d’exprimer, par le son, les singularités et les similitudes des différents complémentaires : lieux de viticulture. Il déploie une méthodologie de design collaboratif (co- Le premier axe, technologique, était dédié à l’implémentation d’une pla- design) qui associe notamment les experts en œnologie de Krug et les cher- teforme accessible permettant de mettre en place et de démocratiser de cheurs de l’équipe PDS associés au compositeur Roque Rivas. Le projet est nouveaux types d’expériences musicales collectives et collaboratives. Cette mis en œuvre dans une salle de dégustation équipée d’un système multi plateforme technologique open source s’appuie en particulier sur les nou- haut-parleurs qui permet de rendre l’expérience immersive en intégrant la veaux standards du Web (notamment WebAudio API, WebSockets) pour dimension spatiale du son dans la composition. Cette partie du projet est permettre au public d’accéder simplement – à travers le navigateur d’un assumée grâce à la contribution de l’équipe EAC et du département Pro- téléphone portable ou d’une tablette par exemple – à des expériences mul- duction de l’Ircam qui s’incarne notamment par la présence d’un ingénieur timédias au sein desquelles chacun peut interagir collectivement. du son associé au projet (Clément Cerles) dès la phase de réalisation des Le second axe s’attachait à explorer les nouveaux usages ouverts par ces premières esquisses sonores, jusqu’à la phase finale de mastering in situ, technologies pour élaborer des expériences collectives et participatives et en passant par les différentes étapes de conception en studio. ce, dans différents contextes : la création musicale et le spectacle vivant, Pour la recherche en design sonore, l’un des principaux enjeux du projet mais également l’éducation et la pédagogie. Cette recherche s’est en par- réside dans le concept de transformation sémantique et s’incarne dans la ticulier appuyée sur de nombreuses collaborations incluant des artistes, méthodologie de co-design mise en œuvre pour l’opérationnaliser. des designers ou encore des pédagogues, pour explorer et proposer de La transformation sémantique est un procédé d’association entre des mots nouveaux moyens de percevoir et d’interagir collectivement. relatifs à une intention ou une définition (ici les «mots du vin », termes Le troisième et dernier axe s’est attaché à soutenir le développement de définissant les différentes identités œnologiques,) et des termes capables communautés autour de ces différentes questions, à travers par exemple d’exprimer des idées de design (ici les « mots du son », attributs sonores l’organisation à l’Ircam, en 2015, de la première Web Audio Conference permettant de concevoir la matière sonore). Le co-design est l’une des (WAC) en collaboration avec Mozilla, Google, et le W3C. méthodologies de mise en œuvre de la transformation sémantique. Il s’agit d’une approche créative fondée sur un principe participatif et sur l’hypothèse que les experts d’un domaine peuvent aussi, voire davantage, apporter des solutions à un problème de design. Dans le projet, cette approche a notamment reposé sur un lexique sonore développé et adapté par l’équipe (cf. projet Speak, p. 57).

44 Les projets - C2. Le corps musicien

Intégration multisensorielle et émotion GEMME — Geste musical : modèles et expériences Équipe concernée : Espaces acoustiques et cognitifs — Équipes concernées : Analyse des pratiques musicales, Au cours des vingt dernières années, de nouveaux types de thérapie par Interaction son musique mouvement exposition ayant recours aux technologies de réalité virtuelle se sont déve- Financement : ANR, programme Blanc SHS loppés pour le traitement et la réhabilitation des troubles émotionnels, et Période de réalisation : novembre 2012 - juin 2016 notamment des phobies. La réalité virtuelle (RV) offre un contrôle très riche Partenaires extérieurs : université de Nice-Sophia Antipolis (CTEL : de la présentation sensorielle et spatiale des stimulations ce qui permet de Centre transdisciplinaire d’épistémologie de la littérature) mieux contrôler l’impact émotionnel des situations anxiogènes auxquelles Coordinateur : Ircam le patient est exposé. Cependant, afin d’exploiter ces avantages uniques de la RV, il est nécessaire d’approfondir les connaissances sur les liens entre Au cours des années 2000, le geste est devenu un moyen privilégié d’in- les caractéristiques de présentation des stimuli et leur effet émotionnel. teraction avec les technologies, auprès du grand public comme au sein Nous avons exploré ces liens dans le cadre de foules virtuelles. La peur de la communauté des musiciens. Si l’écriture musicale dématérialise, de la foule est un symptôme retrouvé dans plusieurs troubles émotionnels décompose et reconstruit le corps du musicien-interprète depuis presque (agoraphobie, phobie sociale, peur de tomber…) et présente des compo- cinquante ans, on observe plus particulièrement, depuis une dizaine d’an- santes à la fois sensorielles (auditives et visuelles) et spatiales, ce qui fait nées, une forte convergence interdisciplinaire sur cet objet de recherche/ de la foule un stimulus idéal pour nos études. création intéressant compositeurs, interprètes et informaticiens, mais Une étude a été menée sur deux groupes de participants (sensibles ou non aussi sciences de l’ingénieur, psychologie, physiologie, biomécanique et à la peur de la foule), immergés dans un environnement visuo-auditif conte- sciences cognitives. Or, cette notion de geste, par ailleurs couramment nant des foules virtuelles, et qui devaient indiquer l’intensité de leur incon- employée dans nombre de domaines, notamment, depuis longtemps, dans fort. La présentation sensorielle des foules était soit visuelle, soit auditive, les arts du spectacle (théâtre, danse, performance...), n’a encore fait l’objet soit visuelle et auditive. Les résultats indiquent que la présentation visuo- que d’embryonnaires recherches en musicologie. auditive amplifie le ressenti négatif chez les participants sensibles à la peur Dans ce contexte, le projet GEMME propose une analyse serrée de textes de la foule. Cependant, cet effet n’est observé que lorsque la foule est théoriques et d’œuvres musicales, mais aussi mène des enquêtes sur proche du participant. Ce résultat révèle l’interaction des caractéristiques l’amont et l’aval de la partition : de quelles possibilités théoriques et tech- spatiale et sensorielle du stimulus anxiogène sur l’impact émotionnel. niques de formalisation du geste disposent les compositeurs ? Quelles pro- Cette dépendance spatiale a motivé l’initiation d’un volet de recherches cédures gestuelles expérimentent-ils sur le papier et lors de la réalisation consacrées à l’étude de l’espace péri-personnel. L’homme ne perçoit pas pratique de l’œuvre ? Quelles modalités de transmission de l’information l’espace de manière homogène : le cerveau code l’espace proche du corps gestuelle s’élaborent non seulement dans la collaboration entre composi- différemment de l’espace lointain. L’espace péri-personnel (proche du teurs et interprètes, mais aussi dans l’enseignement de l’interprétation ? corps) est codé par des neurones multisensoriels. Nous cherchons à mettre Autant de questions auxquelles ce programme se propose de répondre à en évidence la plasticité des limites de cet espace en fonction de la nature travers quatre chantiers principaux : du son et du contexte émotionnel ou social. 1) Théories implicites du geste (généalogie de la notion compositionnelle de geste, avec ses catégorisations et ses périodisations, et son état de l’art actuel) ; 2) Geste et scène (étude d’une démarche paradigmatique, celle de Kagel, où la notion musicale se noue à son expression scénique, dans le cadre du théâtre musical et instrumental) ; 3) Geste et instrument (étude d’une démarche paradigmatique contras- tante, celle de Lachenmann, où la composition interroge le détail des pos- sibilités organologiques de production du son en relation avec une critique

© M. Taffou politique et sociale des conventions expressives) ; 4) Geste et technologie (série d’analyses musicales d’un ensemble de par- Dispositif de RV dans le studio 4 de l’Ircam. La stéréo visuelle est projetée sur un grand écran. La mise à jour des informations visuelles et auditives est réalisée grâce titions de référence, de Time and Motion Study II de Ferneyhough jusqu’à à un système de suivi de position Luna Park d’Aperghis, qui déclinent plusieurs paradigmes techniques et informatiques formalisant et/ou accompagnant le geste instrumental).

45 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

C3. Les dynamiques créatives

Systèmes distribués sonores et interactifs WASABI — Web Audio Semantic Aggregated in the Browser for Indexation Équipe concernée : Interaction son, musique, mouvement — Équipes concernées : Analyse des pratiques musicales Ce projet, qui s’inscrit dans la suite des projets CoSiMa (cf. p. 44) et et Analyse et synthèse des sons, Centre de ressources de l’Ircam Wave (cf. p. 58), concerne le développement d’outils logiciels et théo- Financement : ANR, programme générique riques dédiés à la mise en œuvre de systèmes sonores et interactifs Période de réalisation : octobre 2016 - mars 2021 distribués sur un grand nombre d’appareils, en s’appuyant en parti- Partenaires : I3S (coordinateur), Parisson, Deezer, Radio France culier sur les technologies et les nouveaux standards du Web. Ce projet s’attache notamment à envisager et faciliter la création de nouveaux scé- Le projet propose de définir une méthodologie d’optimisation de l’indexa- narios musicaux allant de la spatialisation distribuée (cf. p. 34, 35) aux tion musicale dans un contexte Web et pour de très grands corpus de interactions collectives. Outre la réalisation de plusieurs pièces, concerts données par l’utilisation conjointe de métadonnées issues de l’analyse et installations, ce projet a également permis d’ouvrir de nouvelles audio, du Web sémantique, de l’analyse en langage naturel des paroles perspectives de recherches scientifiques, par exemple sur l’étude du de chansons, puis de confronter cette méthodologie à des cas d’usages mouvement en situation d’interaction collective (cf. EmoDemos, p. 42). en développant des services et des applications originales exploitant les technologies Web audio. Un axe important de ce projet s’attache aujourd’hui à proposer un envi- Il s’agit donc d’utiliser conjointement les algorithmes d’extraction d’in- ronnement hybride, pouvant mêler ordinateurs, smartphones et/ou formation musicale et le Web sémantique afin de produire des bases de systèmes embarqués, permettant d’envisager de nouvelles possibilités connaissances musicales plus consistantes pour les services de strea- d’interactions expressives et synchronisées. Cette démarche s’accom- ming et les bases de données musicales. Les services de données du pagne également d’un travail important autour de la mise en place d’ou- Web sémantique (LastFM, MusicBrainz, DBPedia, etc.) favoriseront tils et d’interfaces permettant d’abstraire la complexité de ces systèmes l’extraction de données structurées, liant les œuvres à des métadonnées et ainsi de permettre à des artistes et des chercheurs de plus facilement telles que le producteur, le studio d’enregistrement, le compositeur, se les approprier et de les manipuler. l’année de diffusion, les thèmes qui y sont abordés, par exemple. Les données en texte libre comme les paroles seront aussi analysées pour déterminer le contexte musical de l’œuvre. Les technologies Web audio permettront enfin d’explorer ces espaces musicaux enrichis par des analyses de type indexation musicale de haut niveau : détection d’émotion, détection de plagiat, détection et caractérisation de voix chantée, détec- tion de structure et séparation de sources.

Il sera proposé une suite de briques logicielles open source et de services en ligne de type « open data » pour : • la visualisation de métadonnées audio et l’écoute de pistes dé- mixées dans le navigateur en exploitant les dernières technologies 1/ L’application Playground, utilisée par le compositeur Garth Paine lors de sa résidence à l’Ircam. issues de la Web Audio API (mixage temps réel, effets audio) • le traitement automatique de textes de chansons, reconnaissance et liage d’entités nommées, d’annotation et correction collaborative, • l’accès à un service Web doté d’une API proposant un environnement d’étude de similarités musicales issu des analyses audio et sémantiques. Ces briques logicielles serviront au développement des démonstrateurs formalisés avec nos partenaires et collaborateurs (journalistes et compositeurs), utilisant le nouveau standard Web Audio API et permettant ainsi le développement d’applications musicales accessibles au grand public depuis un navigateur Web. 2/ Le projet Constella(c)tions de la compositrice Michelle Agnes Magalhaes, utilisant l’application CoMo-Element.

3/ Le projet Poly par Benjamin Matuszewski.

46 Les projets - C3. Les dynamiques créatives

Composition assistée par ordinateur : écriture du son, du temps et de l’espace — Équipe concernée : Représentations musicales

La recherche en composition assistée par ordinateur (CAO) a pour but Récemment, un nouveau paradigme de calcul et de programmation a été d’étudier et concevoir des modèles et techniques informatiques adaptés proposé à partir d’OpenMusic, combinant l’approche existante basée sur aux processus de création, intégrant paradigmes de calcul, interactions le style fonctionnel/demand-driven à une approche réactive inspirée des et représentations musicales. Cette démarche met en avant une orienta- systèmes interactifs temps réel (event-driven). L’intégration des boucles tion symbolique s’appuyant sur les langages de programmation pour la d’exécution et de calcul des structures musicales permet l’activation création et le traitement des données harmoniques, temporelles, ryth- de chaînes réactives dans les programmes visuels, et accroît les possi- miques ou des autres aspects entrant en jeu dans les processus com- bilités d’interaction dans l’environnement de CAO : un changement ou positionnels. Nos travaux dans ce domaine s’articulent principalement une action de l’utilisateur (événement) dans un programme ou dans les autour de l’environnement OpenMusic, un langage de programmation données qui le composent, produit une série de réactions conduisant à visuelle basé sur Common Lisp et dédié à la composition musicale. Cet sa mise à jour (réévaluation). L’environnement de CAO se trouve alors environnement utilisé par les compositeurs de musique contemporaine inséré dans la temporalité d’un système plus large, et potentiellement depuis une quinzaine d’années, est aujourd’hui considéré comme l’une régi par les événements et interactions produits par ou dans ce système. des principales références dans le domaine de la composition assistée Cette temporalité peut être celle du processus de composition, ou celle par ordinateur. Enseigné dans les principaux centres d’informatique de la performance. Ce projet a produit le logiciel OpenSource OM#, qui musicale ainsi que dans plusieurs universités en Europe et dans le est désormais développé indépendamment de l’Ircam. monde, il a fait l’objet de milliers de téléchargements. Les technologies d’analyse, traitement et synthèse du signal sonore OpenMusic (OM) est un environnement de programmation visuelle pour permettent d’entrevoir des modalités d’écriture inédites assimilant la la composition ou l’analyse musicale assistées par ordinateur. OM offre création sonore au cœur de la composition musicale. OpenMusic permet à l’utilisateur de nombreux modules associés à des fonctions, connectés l’intégration de telles technologies via un ensemble de bibliothèques les uns aux autres pour constituer un programme (ou patch) permettant spécialisées liant les programmes créés dans l’environnement de CAO de générer ou transformer des structures et données musicales. OM aux processus de traitement, de synthèse ou de spatialisation sonore propose également de nombreux éditeurs permettant de manipuler ces (réalisés notamment par des outils de l’Ircam : SuperVP, Pm2, Chant, données, ainsi que des bibliothèques spécialisées dans des domaines Modalys, Spat~, mais également des outils externes comme Csound ou tels que l’analyse et la synthèse sonore, les modèles mathématiques, la Faust). Ce rapprochement des domaines du son et de la CAO constitue résolution des problèmes de contraintes, etc. Des interfaces originales une approche nouvelle pour la représentation et le traitement sonore à comme l’éditeur de maquettes permettent de construire des structures travers des programmes et structures de données symboliques de haut intégrant relations fonctionnelles et temporelles entre les objets musi- niveau. caux. OpenMusic est utilisé par un grand nombre de compositeurs et de Développée en collaboration avec le compositeur Marco Stroppa, la musicologues, et est enseigné dans les principaux centres d’informa- bibliothèque OMChroma permet de contrôler des processus de synthèse tique musicale ainsi que dans plusieurs universités en Europe et dans sonore à l’aide de structures de données matricielles. le monde. Son extension au domaine de la spatialisation, OMPrisma, permet de réa- liser des processus de «synthèse sonore spatialisée», faisant intervenir la The OpenMusic Visual Language for Composers spatialisation (positions et trajectoires, mais également caractéristiques de salle, orientation ou directivité des sources sonores) au moment de la production des sons. Contrôlés dans OpenMusic grâce à un ensemble d’éditeurs graphiques et d’opérateurs, ces outils offrent une grande richesse dans la spécification conjointe des sons de synthèse et des scènes spatiales. Le projet OM-Chant a récemment permis de remettre sur le devant de la scène la technologie de synthèse par FOFs (fonctions d’ondes formantiques), et de réaliser au cœur des processus de CAO des sons de synthèse inspirés du modèle de production vocale.

Spatial Sound Synthesis

OMChroma/OMPrisma: collaboration CIRMMT (MGill University) Spatial Sound Scene Description in OM!

J. Bresson, C. Agon & M. Schumacher, Représentation des données de contrôle pour la spatialisation dans OpenMusic, JIM 2010.

Spatialize mono input (ﬁles/ signals) using interchangable techniques: ! Amplitude Panning (stereo, quad, 5.0), VBAP, RVBAP, DBAP, Ambisonics, ViMiC...! sources!

trajectories! Combination of extensible synthesis + spatialisation durations! class sets! . . .!

M. Schumacher, J. Bresson: Spatial Sound Synthesis in Computer-Aided Composition, Organised Sound, 15(3), 2010.! M. Schumacher, J. Bresson: Compositional Control of Periphonic Sound Spatialization, 2nd Int. Symposium on Ambisonics and Spherical Acoustics, Paris, 2010.

47 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

REACH Raising Co-Creativity in Cyber-Human Musicianship — Équipes concernées : Representations musicales Financement : European Research Council Advanced Grant de Gérard Assayag (2021 – 2025) Collaborations : CAMS / EHESS, UCSD

L’imbrication de la créativité humaine avec les processus computation- généralisés à d’autres activités, du fait de la richesse de ses structures nels environnants suscite de nouvelles potentialités d’action conjointe et de ses contraintes qui favorisent l’émergence de comportement coo- homme-machine et de nouveaux modèles d’interaction. Des formes ori- pératifs et de cours d’actions fortement intégrés. REACH étudiera la ginales de réalité partagée impliquant des «interactions symbiotiques» « musicalité partagée » à l’intersection des sphères physique, humaine se généraliseront dans les arts et l’activité humaine en général. La co- et numérique, comme archétype d’une intelligence distribuée, et pro- créativité entre les humains et les machines entraînera l’émergence de duira des modèles et des outils pour mieux comprendre et encourager la structures d’information distribuées et performatives impliquant la coo- créativité humaine dans un contexte où elle est de plus en plus imbriquée pération d’agents artificiels et humains. Cela transformera certainement avec le calcul. les ordres culturels connus et aura un impact significatif sur le déve- REACH part de l’hypothèse que la co-créativité dans les systèmes cyber- loppement humain. L’apprentissage génératif de représentations sym- humains résulte d’une forme d’émergence de comportements cohérents boliques à partir de signaux physiques et humains, et la compréhension et de régimes non-linéaire de formation d’événements et de structures, des stratégies artistiques et sociales de l’improvisation nous aideront à qui conduisent à une riche co-évolution des formes musicales. Ces phé- mieux comprendre cette dynamique de coopération (ou de conflits) inhé- nomènes résultent de processus d’apprentissage croisé entre agents rente aux réseaux cyber-humains. impliquant des boucles de rétroaction et des mécanismes de renforce- Pour cela, le projet REACH vise à comprendre, modéliser et développer ment complexes. REACH étudiera ces mécanismes in vivo et in vitro, et la co-créativité musicale entre les humains et les machines par le biais produira des outils créatifs, par la convergence de méthodes issues des d’interactions improvisées, permettant aux musiciens de tout niveau de recherches en créativité computationnelle interactive, en intelligence formation de développer leurs compétences et d’accroître leur potentiel artificielle et machine learning, en sciences sociales avec l’anthropolo- créatif individuel et social. En effet, l’improvisation est au cœur même gie des pratiques improvisées (collaboration avec le CAMS à l’EHESS), de toutes les interactions humaines, et la musique est un terrain fertile et des systèmes de réalité mixte instrumentaux (collaboration avec la pour développer des modèles et des outils de créativité qui peuvent être compagnie HyVibe).

48 Les projets - C3. Les dynamiques créatives

MERCI Mixed Musical Reality with Creative Instruments — Équipe concernée : Représentations musicales Financement : ANR. Période : 2020-2022 Partenaires : HyVibe, CAMS/EHESS

L’improvisation peut être considérée comme une force motrice majeure des instruments créatifs. L’intégration fonctionnelle de l’intelligence dans les interactions humaines, stratégique dans tous les aspects de la artificielle créative et du contrôle actif de l’acoustique dans le cœur or- communication et de l’action. Dans sa forme la plus élevée, l’improvi- ganologique de l’instrument de musique, afin de favoriser des situations sation est un mélange d’actions structurées, planifiées, dirigées, et d’interréalité physique plausibles, nécessite la synergie de recherches de décisions et déviations locales difficilement prévisibles optimisant publiques et privées hautement interdisciplinaires, telles qu’elles sont l’adaptation au contexte, exprimant de manière unique le moi créatif, menées par les partenaires. De tels progrès seront susceptibles de per- et stimulant la coordination et la coopération entre les agents. La mise turber les pratiques artistiques et sociales, et d’avoir à terme un impact en place d’environnements homme-machine puissants et réalistes pour puissant sur l’industrie musicale ainsi que sur les pratiques musicales l’improvisation nécessite d’aller au-delà de la simple ingénierie logicielle amateurs et professionnelles. des agents créatifs avec des capacités d’écoute et de génération de Un instrument créatif sera capable d’écouter en permanence la per- signaux audio, comme ce qui a été fait la plupart du temps jusqu’à pré- formance du musicien qui en joue, afin de déterminer ses orientations sent. Dans les nouvelles configurations d’ « interréalité physique » (un musicales, et de dialoguer de manière créative avec lui dans une expé- schéma de réalité mixte où le monde physique est activement modifié rience inédite de réalité musicale mixte où les sons produits par l’inter- par l’action humaine), les sujets humains sont immergés et engagés dans prète et ceux créés artificiellement se mélangeront dans une polyphonie des actions tangibles permettant une pleine incarnation (embodiment) musicale significative. Cette réalité musicale mixte se déploiera dans dans les monde numérique, physique et social. les dimensions mélodique, harmonique, rythmique et orchestrale de la L’objectif principal de ce projet est de créer les conditions scientifiques et musique, avec un compagnon musical créatif situé au cœur même de technologiques pour des systèmes musicaux à réalité mixte, permettant l’instrument et agissant comme un avatar artistique, un assistant à la des interactions improvisées homme-machine, basées sur l’interrelation création, un partenaire, une incitation nouvelle à apprendre, à pratiquer d’agents numériques créatifs et le contrôle acoustique actif dans les ins- et à communiquer dans le langage musical. truments de musique. Nous appelons ces dispositifs de réalité mélangée

1/ Le tableau de contrôle de la HyVibe Guitar 2/ Premier prototype de violon SmartInstrument à l’Ircam

49 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

ACIDS Artificial Creative Intelligence and Data Science acids.ircam.fr — Équipe concernée : Représentations musicales général des interactions humaines dans lesquelles la décision, l’initiative L’objectif du projet Artificial Creative Intelligence and Data Science et la coopération sont à l’œuvre, et constituent un pont d’observation et (ACIDS) est de modéliser la créativité musicale en développant des de contrôle idéal pour comprendre et modéliser l’interaction symbiotique modèles d’intelligence artificielle et d’apprentissage machine innovants en général. et de fournir des outils d’exploration intuitive de la créativité. Le projet Alors que la plupart des recherches actuelles tentent de surpasser les fournit une ample activité théorique, de modélisation et d’expérimenta- approches précédentes en utilisant des modèles plus complexes et plus tion d’outils. lourds, nous encourageons le besoin d’un modèle simple et contrôlable. L’étude de la créativité dans des situations interactives humain – IA est En outre, nous sommes convaincus que les modèles véritablement déterminante pour la compréhension des interactions « symbiotiques ». intelligents devraient pouvoir apprendre et généraliser à partir de pe- Le fait de disposer de modèles d’intelligence artificielle capables de tites quantités de données. L’une des idées clés d’ACIDS est basée sur démontrer des comportements créatifs pourrait donner naissance à l’hypothèse de la multiplicité. Ce concept affirme que des informations une toute nouvelle catégorie de systèmes d’apprentissage créatif géné- très complexes dans leur forme originale pourraient se trouver dans un riques. espace plus simple et organisé. Nous cherchons donc à modéliser cette Le temps est l’essence même de la musique, et pourtant c’est une sémantique de haut niveau de la musique par la notion d’espaces latents. donnée complexe, à plusieurs échelles et à plusieurs facettes. C’est Cela pourrait permettre de comprendre les caractéristiques complexes pourquoi la musique doit être examinée à des granularités temporelles de la musique mais aussi de produire des paramètres de contrôle com- variables, car une multitude d’échelles de temps coexistent (de l’identité préhensibles. de notes individuelles jusqu’à la structure de morceaux entiers). Nous Les espaces de timbre ont été utilisés pour étudier les relations entre introduisons donc l’idée d’un apprentissage de la granularité temporelle les différents timbres instrumentaux, sur la base de notations percep- profonde qui pourrait permettre de trouver non seulement les caracté- tuelles. Cependant, ils ne permettent qu’une interprétation limitée, ristiques saillantes d’un ensemble de données, mais aussi l’échelle de aucune capacité de génération et aucune généralisation. Nous étu- temps à laquelle elles se comportent le mieux. dions dans ACIDS les auto-encodeurs variationnels (VAE) qui peuvent Nous avons par exemple récemment (projet ACTOR) mis au point le pre- pallier ces limitations, en régularisant leur espace latent pendant la mier système de Live Orchestral Piano par apprentissage automatique formation afin de s’assurer que l’espace latent de l’audio suit la même de répertoires piano/orchestre, permettant de composer de la musique topologie que celle de l’espace de timbre perceptif. Ainsi, nous faisons avec un orchestre classique en temps réel en jouant simplement sur le pont entre l’analyse, la perception et la synthèse audio en un seul un clavier MIDI. En observant la corrélation entre partitions de piano système. Les synthétiseurs de son sont omniprésents dans la musique et et orchestrations correspondantes historiques, nous pourrions déduire ils définissent même maintenant entièrement de nouveaux genres musi- la connaissance spectrale des compositeurs. Les modèles probabilistes caux. Cependant, leur complexité et leurs ensembles de paramètres les que nous étudions sont des réseaux de neurones avec des structures rendent difficiles à maîtriser. Nous avons créé un modèle probabiliste conditionnelles et temporelles. génératif innovant qui apprend une correspondance inversible entre un ACIDS encourage un modèle interactif et centré sur l’utilisateur, où nous espace auditif latent continu des capacités audio d’un synthétiseur et visons à placer l’humain au centre. Par exemple (collaboration avec les l’espace de ses paramètres. Nous abordons cette tâche en utilisant des projets REACH et MERCI de l’équipe), les interactions collectives humain auto-encodeurs variationnels et en normalisant les flux. Grâce à ce nou- machine, notamment l’improvisation nous intéressent comme modèle veau modèle d’apprentissage, nous pouvons apprendre les principales macro-commandes d’un synthétiseur, ce qui nous permet de voyager à M W Random init. Trained network T ⇤ travers sa multitude de sons organisés, d’effectuer des inférences de paramètres à partir de l’audio pour contrôler le synthétiseur avec notre voix, et même d’aborder l’apprentissage de la dimension sémantique où nous trouvons comment les commandes s’adaptent à des concepts

W0 WT ⇤ sémantiques donnés, le tout dans un modèle unique. Les travaux d’ACIDS sont régulièrement utilisés en création contemporaine, par exemple dans la production de la voix d’un chanteur d’opéra synthétique (La fabrique des monstres, Ghisi / Peyret) ou des collaborations avec le compositeur Alexandre Schubert sur apprentissage et captation gestuelle. Lottery tickets Resetting weights Structured lottery [M] M W˜ M W0 W¯ T 0 T 0

50 Les projets - C3. Les dynamiques créatives

SKAT-VG Sketching Audio Technologies using Vocalizations and Gestures — Équipe concernée : Perception et design sonores, Interaction son musique mouvement, Analyse et synthèse des sons Période de réalisation : 2014 – 2017 Financement : programme Objective ICT-2011-C, FET-Open : Challenging current thinking FP7, Commission européenne Partenaires : IUAV (Universita Iuav di Venezia, coordinateur), KTH (Kun- gliga Tekniska Högskolan), GENESIS (Genesis Acoustics)

L’esquisse est une étape fondamentale des activités de design. Le projet SkAT-VG explore la capacité de la voix et du geste à transposer, pour le design sonore, le paradigme «papier / crayon» largement utilisé en design visuel. Il vise à permettre aux designers d’utiliser directement leur voix et leurs mains pour esquisser les caractéristiques sonores d’un objet, facilitant ainsi l’exploitation des possibilités fonctionnelles et esthétiques du son. Le cœur du projet réside dans un dispositif capable d’interpréter les intentions des utilisateurs exprimées par des imitations vocales et gestuelles, de sélectionner des modules de synthèses sonores appropriés, et de rendre ainsi possible le partage et le raffinement des idées. Les principales tâches du projet comprennent des études de cas autour de la communication sur le son, l’analyse de pratiques expertes, des études expérimentales et fondamentales sur l’identification des sons, l’analyse des gestes, l’apprentissage automatique et le développement d’outils d’esquisses sonores. Les objectifs du projet sont d’étendre les connaissances existantes dans le domaine de la perception sonore grâce aux imitations, de développer des algorithmes de classification automatique en combinant l’analyse du signal sonore de l’imitation avec des mécanismes physiologiques de la production vocale, d’explorer l’efficacité des esquisses sonores et gestuelles dans le domaine du design sonore interactif, et de développer des applications de création et de traitement sonores intuitives, utilisant la voix et les gestes. L’un des développements technologiques du projet s’incarne dans l’environnement SkataRT, brique logicielle Max for Live qui permet une syn- thèse sonore par corpus, pilotée par la voix et le geste et articulée en 2 étapes principales : • une exploration d’un espace 2D sur lequel des grains de sons sont projetés (CataRt) • la capture d’une imitation vocale, son analyse et sa modélisation sous la forme d’une esquisse sonore paramétrisable exploitant une synthèse par corpus de type CataRt. Cet outil vise à être testé puis intégré au process de travail en design sonore et permettra, en outre, d’instruire la question du prototype sonore.

51 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Composition urbaine et paysagère MICA — Improvisation musicale et action collective Équipe concernée : Espaces acoustiques et cognitifs — Équipes concernées : Analyse des pratiques musicales, La résidence artistique de Nadine Schütz, porte sur l’intégration des Perception et design sonores, Interaction son musique mouvement qualités acoustiques et compositions sonores au sein de projets urbains Financement : ANR, programme JCJC et paysagers. Il s’agit de composer à partir de, avec et dans l’existant, Période de réalisation : mars 2018 – février 2021 condition inhérente à ce type de projets et d’interroger l’application Partenaires extérieurs : Sorbonne Université, EHESS d’ambiances et de réponses impulsionnelles (RI) enregistrées en format Coordinateur : Ircam HOA (microphone EM32 de MHAcoustics®), ainsi que les outils de spatialisation associés lors des différentes étapes du projet artistique. Ce Le projet MICA rassemble une équipe pluridisciplinaire, à la croisée de travail s’organise autour du cas d’étude de la Place de La Défense, en la musicologie, de la philosophie et des sciences cognitives. Son objectif collaboration avec l’équipe paysagiste-urbaniste en charge d’un projet est, premièrement, de développer une nouvelle série de méthodes pour global de rénovation. Pour saisir la qualité ambiante et les événements l’analyse des pratiques d’improvisation ; et, deuxièmement, d’utiliser les sonores marquants liés aux différents usages du site, plusieurs sessions situations d’improvisation collective libre comme une sorte de « labora- d’enregistrement ont été effectuées in situ, aux différentes heures du toire » permettant de poser des questions d’ordre général sur l’action jour, jours de la semaine et saisons. Ces données ont été évaluées en conjointe. studio pour dégager les pistes susceptibles d’enrichir les méthodes de composition urbaine et paysagère. Les RI de la place de la Défense, Dans un premier temps, l’équipe du projet MICA collectera des des- espace très atypique par ses dimensions, ont suscité des procédures criptions denses et précises d’actions collectivement improvisées et d’analyse particulières (cf. analyse-synthèse de SRIR, p. 27). des processus de coordination à l’œuvre dans ce type d’action à la fois Ces enregistrements et mesures permettent de reconstruire au sein complexe et spontanée à travers plusieurs enquêtes ethnographiques du studio un environnement de composition qui porte les traits clés de longitudinales auprès de différents collectifs d’improvisateurs. L’étude l’environnement sonore existant du site destinataire de l’œuvre. Ils per- croisée de ces différents terrains permettra d’observer comment le mode mettent de simuler l’intégration des nouvelles sources sonores dans ce opératoire de la création collective se modifie lorsque les conditions de la même contexte. Ils donnent aussi lieu à la création de modèles auditifs coordination entre les musiciens varient. qui jouent le rôle de fil conducteur (Leitbild) rêveur pour l’étape de créa- tion de la matière sonore prenant compte des contraintes techniques Ce travail ethnographique fournira les bases qui nous permettront de du site et du dispositif à mettre en place. La conception du dispositif, renouveler en profondeur les questions expérimentales traditionnelle- combinaison de structures physiques et de composants électroacous- ment posées au sujet de l’action conjointe, en abordant la question de tiques, fait partie intégrante de l’œuvre. la coordination émergente autrement que par le paradigme de la syn- Actuellement, l’interaction création-recherche traite de l’exploitation chronisation. Il s’agira donc dans un deuxième temps de mettre en place des descripteurs de RI comme matière de composition structurante. une série de protocoles expérimentaux, inscrits dans la psychologie expérimentale et la cognition sociale, qui auront pour objectif de mettre en lumière certains aspects fondamentaux de l’interaction dyadique improvisée.

Enfin, il s’agira de proposer un travail d’élaboration conceptuelle en confrontant aux cas des actions conjointes improvisées les notions de coordination et de planification telles qu’elles sont généralement défi- nies au sein des théories philosophiques et psychologiques de l’action conjointe. Ainsi, ce sont toutes ces actions collectives à la fois créatives et spontanées – qui occupent une place si centrale dans nos vies – que nous tenterons d’éclairer d’un jour nouveau.

Visualisation du projet : des « parasols » en forme de nuages intègrent le dispositif électroacoustique et créent une intimité acoustique locale

52 Les projets - C3. Les dynamiques créatives

Orchestration assistée par ordinateur — Équipe concernée : Représentations musicales

Ce projet aborde la question de l’orchestration par la recherche auto- du système Orchids résident dans le fait que cette approximation peut matique d’instrumentations et de superpositions d’instruments appro- être faite séparément sur des formes temporelles, valeurs moyennes chant, en fonction de différents critères de similarité acoustique, une ou écarts-types (ou toute combinaison des trois) de chaque descripteur cible définie par le compositeur. Les recherches actuelles s’attachent psychoacoustique. En outre, les utilisateurs peuvent également définir à étendre ce paradigme à l’orchestration dynamique, suivant des cibles une déformation temporelle manuelle, et même effectuer une recherche dont les caractéristiques sonores varient au cours du temps. multicible à l’intérieur de multiples segments sonores, offrant ainsi des Réalisé à la suite du logiciel Orchidée, qui a défini toutes les bases en réalisations de pièces orchestrales complètes en quelques secondes. termes de méthodologies et de fonctionnalités de l’aide à l’orchestra- La nouvelle version de la série orchid*, orchidea, développée dans tion, Orchids est le premier système de la série Orchid* pour l’orches- l’équipe RepMus en collaboration avec la HEM, est partie d’orchids pour tration assistée par ordinateur et l’optimisation de mélanges de timbres optimiser encore plus l’analyse, la recherche et l’inetrface, elle est désor- qui permet de gérer les dynamiques continues d’évolution. Il fournit un mais disponible en open-source, et propose des optimisations significa- ensemble d’algorithmes permettant de reconstruire n’importe quelle tives et une plus grande fiabilité des résultats. cible sonore évoluant dans le temps par une combinaison d’instruments Outre la production des logiciels phares Orchid*, le projet orchestration ou échantillons, selon un ensemble de critères psycho-acoustiques. Il de l’Ircam suscite de nombreuses collaborations nationales et interna- peut aider les compositeurs à obtenir des couleurs de timbre inouïes en tionales coordonnées par l’équipe RepMus : le projet ANR MAKIMONO fournissant une multitude de solutions efficaces qui recréent au mieux explore les apports de l’intelligence artificielle et du Machine Learning cette cible sonore. Grâce à un ensemble étendu de fonctionnalités, à la synthèses timbrale et orchestrale ; le projet Orchestration financé Orchids peut également reproduire des évolutions et formes abstraites par le Conseil de recherches en sciences humaines du Canada (SSHRC) de mouvements spectraux. Ses résultats fournissent des partitions avec la Haute École de musique de Genève (Suisse) a permis de poser d’orchestre multiples pouvant être organisées de manière intuitive afin les bases d’un vaste projet international impliquant 19 partenaires amé- d’obtenir rapidement une réalisation d’idées orchestrales et musicales. ricains et européens, le projet ACTOR, qui explore toutes les facettes de Ce système fournit plusieurs algorithmes d’approximation permettant l’orchestration, de la modélisation à la pédagogie et a démarré en 2019. d’optimiser conjointement plusieurs propriétés de timbre. Les avantages

53 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

(DYCI2) Agents créatifs, interactions improvisées et « meta-composition » — Équipe concernée : Représentations musicales Ces agents/instruments s’inscrivent également dans une recherche de nouveaux paradigmes génératifs « informés par IA », en travaillant par L’équipe explore le paradigme de la créativité computationnelle à l’aide exemple à associer aux mécanismes génératifs des modules d’extraction de dispositifs inspirés par l’intelligence artificielle, dans le sens des nou- et inférence de grille harmonique en temps réel. velles interactions symboliques musicien-machine ou dans celui de la Après avoir été le socle de productions d’envergures permettant une vali- science des données et l’extraction des connaissances. dation par des musiciens experts (Pascal Dusapin, Bernard Lubat, Steve Dans la lignée du logiciel Omax, les recherches sur l’apprentissage et Lehman, Rémi Fox, Hervé Sellin, etc.) ainsi que de workshops et festivals la génération musicale interactive ont abouti à la création de plusieurs (Festival Improtech Paris-Athina et Paris-Philly; MassMoca, Cycling ’74, paradigmes d’interaction musicien-machine caractérisés par une archi- etc.) les thématiques DYCI2 se poursuivent avec le lancement du projet tecture combinant écoute artificielle du signal, découverte d’un voca- ANR MERCI (Mixed Musical Reality with Creative Instruments) coor- bulaire symbolique, apprentissage statistique d’un modèle de séquence donné par G. Assayag avec l’EHESS et la startup HyVibe, ainsi que l’ERC et génération de nouvelles séquences musicales par des mécanismes Advanced Grant REACH porté par G. Assayag. La mise en place d’envi- réactifs et/ou de planification (scénario). ronnements homme-machine puissants et réalistes pour l’improvisation Le projet ANR DYCI2 (2015-2018) a donné naissance à des d’agents nécessite d’aller au-delà de l’ingénierie logicielle des agents créatifs génératifs pour la performance et l’interaction musicale combinant les avec des capacités d’écoute et de génération de signaux audio. Cette approches libres, planifiées et réactives de la génération à partir d’un ligne de recherche propose de renouveler radicalement le paradigme de corpus, ainsi que des modèles de scénarios dynamiques à court terme l’interaction improvisée homme-machine en établissant un continuum (« meta-Djing »), et des moteurs de génération de matériaux “méta-com- allant de la logique musicale co-créative à une forme d’ «interréalité phy- posé” à grande échelle. sique» (un schéma de réalité mixte où le monde physique est activement Le projet DYCI2 met en avant l’interaction improvisée, à la fois comme modifié) ancrée dans des instruments acoustiques. modèle anthropologique et cognitif de l’action et de la décision, comme schéma de découverte et d’apprentissage non supervisé, et comme outil discursif pour l’échange humain – artefact numérique, dans une pers- pective de modélisation du style et de l’interaction. L’objectif est de constituer des agents créatifs autonomes par apprentissage direct résultant d’une exposition au jeu vivant (live) de musiciens humains improvisant, en créant une boucle de rétroaction stylistique par l’exposition simultanée de l’humain aux productions improvisées des artefacts numériques eux-mêmes, donc à partir d’une situation de communication humain-artefact évoluant dans une dynamique complexe de co-créativité. Quentin Chevrier ©

« Lullaby Experience » – Librairie DYCI2 – Librairie om-dyci2

Paradigmes d’interaction musicale humain-machine

54 Les projets - C3. Les dynamiques créatives

GRIAMI ACTOR Groupe de recherches interdisciplinaires sur l’acte musical Analysis, Creation, and Teaching of Orchestration et interartistique — — Équipes concernées : Représentations musicales Équipe concernée : Perception et design sonores Financement : Conseil de recherches en sciences humaines du Canada Financement : ITI GRIAMI, université de Strasbourg (SSHRC, 2019 – 2026) Période de réalisation : 2021-2024 Partenariat : 20+ institutions américaines et européennes Collaborations : ITI GRIAMI / EA 3402, université de Strasbourg. Le projet ACTOR est une collaboration interdisciplinaire comprenant Cette recherche sur l’acte musical tente de comprendre, d’un côté, com- plus de vingt organisations académiques, industrielles et artistiques tra- ment fonctionne l’activité artistique et l’intelligence musicale dans leur vaillant ensemble pour développer une approche de l’orchestration du plasticité par la pratique, l’apprentissage et la créativité orale/aurale, et, XXIe siècle. de l’autre côté, comment un groupe social se donne des règles d’organi- Le partenariat ACTOR vise à stimuler l’intérêt pour le timbre et l’orches- sation et des cadres pour penser la musique particularisée. tration ainsi que leur utilité musicale au sein du milieu académique, des L’oralité est un processus constituant susceptible de conditionner et de pratiques musicales et du grand public en sollicitant la participation créer des formes improvisées et spontanées, que ce soit musicales ou d’artistes, de chercheurs en sciences humaines et de scientifiques de poétiques (Lortat-Jacob). L’immense terrain musical que représente le renommée mondiale. Ce partenariat met en relation les pratiques et la bassin méditerranéen est un exemple fascinant de transfert d’éléments pédagogie de l’orchestration nord-américaine et européenne, et encou- culturels, mais aussi de construction de spécificités identitaires. La com- rage le développement de nouveaux outils numériques stimulant la créa- préhension de ses mécanismes, engageant des processus d’échange, tivité lors de l’apprentissage, de la création et de l’étude de l’orchestra- d’interaction, d’imitation, de mémorisation, de reproduction, implique la tion dans les musiques de concert, populaires, de film et de jeu vidéo. En construction d’une anthropologie globale du phénomène de l’écoute, plus il cherche à sensibiliser les auditeurs plus jeunes aux merveilles et à pour laquelle la connaissance approfondie des aspects cognitifs, dans la complexité d’une musique de haute qualité. le rapport qu’instaure la musique orale avec la mémoire, est essentielle ACTOR a pour but de transformer la recherche en musique à la fois grâce (Chouvel). à l’application de nouveaux outils analytiques, de manière à mettre en Les enquêtes de terrain et les expériences psychologiques se focalisent lumière des phénomènes mystérieux qui n’ont pas encore été théorisés principalement sur le rôle de l’acculturation et l’implication des schémas sur plus de quatre siècles de musique, ainsi qu’à travers le développe- cognitifs dans l’écoute de l’auditeur ainsi que sur les rapports complexes ment d’outils d’analyse basés sur le son, qui peuvent être appliqués à du créateur (improvisateur, interprète) à la musique, à la culture com- des musiques non notées ou à des enregistrements de musique écrite. mune (l’art de s’émouvoir ensemble, During) et aux normes de la tradi- ACTOR vise une transformation des méthodes d’investigation dans les tion ; c’est-à-dire comment, et sur quels critères, l’improvisateur pour- domaines de la musicologie, de la théorie musicale, de la psychologie de rait être porteur d’un don particulier pour le groupe social, et avoir un la musique, de l’étude des musiques populaires et de l’ethnomusicologie, lien spécifique avec ce qui est hors de l’ordinaire et du commun ? Notre où le rôle du timbre en musique a été soit ignoré, soit rarement abordé intérêt est porté également sur le vécu et la profondeur sémantique de de manière systématique. tout ce que le musicien peut dire sur sa pratique sociale et son art ; ver- ACTOR enrichira l’enseignement aux compositeurs, aux arrangeurs et balisations diverses, formulations métaphoriques, représentations sym- aux orchestrateurs en leur fournissant des outils technologiques pour boliques, etc. Ce sont les expériences esthétiques des sujets-acteurs et l’apprentissage des liens entre les représentations symboliques pré- les stratégies performatives et cognitives actées qui retiennent notre sentes dans la partition et le résultat sonore correspondant. attention. Autant de références culturelles et psychologiques à recueillir Enfin, ACTOR permettra la création d’outils stimulant la créativité sur le terrain de la performance, à analyser et à rendre compte dans notre musicale en lien avec le timbre et l’orchestration dans une variété de « modèle d’écoute culturalisée ». genres musicaux, à la fois sur scène et à la maison, à travers le déve- loppement d’environnements d’orchestration assistée par ordinateur qui intègrent des techniques de pointe en traitement du signal et en apprentissage machine. Afin d’atteindre ces objectifs, les activités en lien avec ACTOR sont structurées en trois axes de recherche : Analyse (Analysis), Développement d’outils technologiques (Technological Tool Development) et Innovation (Innovative Outputs), le tout à travers plusieurs domaines d’expertise. L’équipe est responsable de l’axe 2 et met en œuvre une série de recherches en Intelligence artificielle et machine learning autour de l’analyse et de la génération de l’orchestration, comme par exemple le « Live Orchestral Piano » qui arrange automatiquement des séquences pianistiques pour grand orchestre et synthétise le résultat, ou qui peut à l’inverse réduire une partition d’orchestre.

55 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Mathématiques et musique Vertigo — starts.eu:vertigo Équipe concernée : Représentations musicales — Services concernés : direction IMR, direction générale, Communication Le projet SMIR (« Structural Music Information Research ») prolonge Financement : Commission européenne, programme H2020, le projet retenu par le CNRS à l’occasion de la création d’un poste de appel ICT36-2016 directeur de recherche au sein de l’équipe Représentations musicales en Période de réalisation : décembre 2016 - mai 2020 élargissant le spectre d’outils mathématiques au service du musicologue Partenaires : Artshare (Belgique), Fraunhofer ICT Group (Allemagne), computationnel (des outils issus non seulement de l’algèbre mais aussi Inova+ (Portugal), Culture Tech (France), École polytechnique fédérale de de la topologie et de la théorie des catégories). En même temps, il s’at- Lausanne (Suisse), Libelium Comunicaciones (Espagne) taque aux articulations entre musique savante et popular music (rock, Coordinateur : Ircam pop, jazz et chanson), dans une dimension à la fois théorique mais aussi pratique et ouverte à la diffusion des savoirs. Le projet bénéficie d’un Le projet Vertigo a été conçu et sélectionné en réponse au premier appel quadruple ancrage institutionnel au sein de la Society for Mathematics de la Commission européenne dans le cadre du programme H2020 ICT and Computation in Music), (société internationale dont l’activité a été (technologies de l’information et de la communication) lié à l’initiative fédérée par la revue Journal of Mathematics and Music), d’un partenariat STARTS (Science, Technology and the Arts). L’enjeu général de STARTS avec l’université de Strasbourg (en particulier l’IRMA, le Labex GREAM, est de promouvoir la collaboration d’artistes à des projets de R&D dans l’Idex « Université et Cité » et le Jardin des Sciences) et d’une collabora- le champ ICT à des fins d’innovation et Vertigo s’attache à coordonner les tion avec l’Institut Pasteur (dans le cadre du « Défi - Processus et tech- différentes actions menées dans ce sens au niveau européen selon trois niques d’apprentissages 2020 » financé par la Mission pour les initiatives volets complémentaires : transverses et interdisciplinaires du CNRS) et avec l’université de Padoue • L’organisation de résidences d’artistes en lien avec des projets de (création d’une chaire de Professeur invité pour la nouvelle bourse doc- R&D, dans le cadre d’appels à propositions annuels évalués par un torale « Mathématiques et Musique », 2020-2021). Ce projet alimente, comité de sélection international et interdisciplinaire. Un budget de de surcroît, le séminaire MaMuPhi (mathématiques, musique et philo- 900 k€ est consacré au soutien en 3 cycles annuels d’un total de sophie), coorganisé avec l’École normale supérieure, ainsi que les deux 45 projets de résidences artistiques visant notamment à constituer, collections Musique/Sciences (chez Delatour France) et Computational par la production d’œuvres artistiques originales, des prototypes de Music Sciences (chez Springer). cas d’usages innovants des technologies développées ; Le projet s’appuie sur un environnement expérimental d’aide à l’analyse • La présentation publique des différentes actions menées dans le musicale computationnelle appelé The Tonnetz, qui s’appuie sur les fonc- cadre du nouvel événement annuel au Centre Pompidou, « Mutations tionnalités du logiciel HexaChord. Tonnetz est un environnement web / Créations », associant expositions, symposiums et événements permettant de construire des représentations spatiales associées à des artistiques et visant à exposer et débattre des évolutions des pra- progressions harmoniques et de les analyser à travers plusieurs espaces tiques artistiques dans l’écosystème scientifique et technologique géométriques (les Tonnetze). L’environnement est couramment utilisé contemporain. L’édition inaugurale de mars 2017, liée aux exposi- dans des ateliers scolaires et grand-public ainsi que dans des projets de tions « Imprimer le monde » et « Ross Lovegrove », était placée sous diffusion des savoirs (en particulier dans le cadre du spectacle « Math’n le thème « L’espace simulé ou les formes du digital ». Pop »). Dans ce projet, il y a eu le développement d’une plateforme Web communautaire fédérant et mettant en contact les différents acteurs concernés (chercheurs, artistes, industriels, incubateurs, investisseurs) et offrant un support à leurs actions (communication, organisation de programmes particuliers de résidences artistiques, etc.). En sus du consortium de ses partenaires, le projet pilote un réseau international de 20 corres- pondants dans le champ culturel, comprenant notamment le Zentrum für Kunst und Media de Karslruhe, le Victoria and Albert Museum de Londres, la Biennale de Venise, le festival Ars Electronica de Linz, etc.

56 Les projets - C3. Les dynamiques créatives

SpeaK APDS Lexique sonore pour la description des qualités sonores Analyse des pratiques du design sonore — — Équipe concernée : Perception et design sonores Équipes concernées : Perception et design sonores, Financement : équipe PDS Analyse des pratiques musicales Période de réalisation : 2018-2019 Financement : Labex Création – Arts – Patrimoines (CAP) Collaborations : F. Voisin (développement), R. Rivas (création) Période de réalisation : 2018–2019 Collaborations : Institut ACTE (Univ. Paris 1 Panthéon-Sorbonne), Laura L’outil SpeaK est une interface qui présente un lexique sonore. Les Zattra (chercheure indépendant), David Fierro (développeur indépendant) descripteurs sémantiques du lexique s’organisent selon trois grandes classes : timbre (sec/résonnant, mat/brillant, lisse/rugueux, chaud, Le projet s’intéresse au design sonore – champ du design et de la créa- rond, riche, nasal, …), qualités générales (grave/aigu, tonal/bruité, tion sonore apparu dans le dernier tiers du XXe siècle – et plus précisé- proche/lointain, …), et morphologie (attaque, chute, continu/discon- ment à ses pratiques, qui se déploient dans des domaines où penser le tinu, constant/fluctuant, ...). L’outil SpeaK, dans sa forme actuelle, offre son, le fabriquer, l’intégrer et le diffuser, s’avère pertinent d’un point de deux principales possibilités. La première est de présenter une définition vue fonctionnel et/ou esthétique : architecture, urbanisme, arts numé- et un ensemble d’exemples sonores pour chacun des descripteurs du riques, cinéma, scénographie, mais aussi écologie ou encore marketing. lexique proposé par Carron et al. (Journal of Design Research, 2017). Le projet part du constat que cette discipline est relativement récente Les exemples sonores ont été produits par l’Ircam et couvrent plusieurs – formalisée par R. Murray Schafer à la fin des années 1970, elle ne catégories de sources : instruments de musique, voix femme/homme, s’est vraiment développée d’un point de vue institutionnel et profes- sons de synthèse élémentaires et complexes. La deuxième possibilité sionnel qu’à partir des années 2000 – et demeure, à ce jour, encore mal est de configurer très facilement l’interface pour intégrer de nouveaux définie et polymorphe. C’est une pratique singulièrement transdiscipli- descripteurs sémantiques et des sons associés. Ainsi le lexique peut être naire : le designer sonore doit comprendre l’environnement auquel il se enrichi ou encore adapté à un projet spécifique. L’outil SpeaK permet confronte, il lui faut des connaissances en acoustique, en traitement d’avoir un langage commun pour répondre à différents objectifs. Dans du signal, en psychologie, en sciences de l’information (sémiotique le cadre d’un projet en design sonore, il peut être utilisé pour accom- sonore), en sciences cognitives (étude du contexte, processus d’inté- pagner des séances d’échanges entre différents partenaires. Il a été gration et d’apprentissage), en socio-économie (culture, patrimoine et utilisé à l’Ircam dans des projets de design avec SNCF, Krug et, au sein environnement) et, bien entendu, en composition musicale. À l’heure où d’Ircam-Amplify, Sorbonne Université (SU). Dans un cadre pédagogique, la recherche sur les pratiques créatrices s’étend aux nouvelles formes de il pourrait permettre d’apprendre à écouter et à nommer des qualités pratiques contemporaines et aux figures socioprofessionnelles inédites sonores. Les perspectives à suivre pour l’outil SpeaK sont : l’amélioration qui en résultent, le projet ouvre une réflexion sur la spécificité de cette des définitions de certains descripteurs comme chaud et rond, l’ajout discipline dont les processus de création, contrairement à leurs produits, d’une catégorie d’exemples de sons environnementaux, la proposition de restent encore confidentiels. modèles de signaux pour chacun des descripteurs, et le développement Adoptant une approche inspirée de la recherche en design, et visant à d’une version en ligne. établir un cadre conceptuel pérenne pour l’étude du design sonore, le projet se focalise sur les acteurs de la discipline, les designers sonores, au travers de l’analyse de leurs pratiques suivant différents points de vue (artistique, musicologique, socio-culturel, technique, écologique, scientifique).Grâce à une méthodologie de terrain (questionnaires et inter- views), le projet pemet de comprendre les processus créatifs du design sonore, en constituer des connaissances historiques et en mesurer les enjeux actuels sur le plan artistique, technique et scientifique.

57 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Rapid-Mix WAVE Outils et modules musicaux pour les designers numériques Web Audio : édition/visualisation et les créateurs de contenus — — Équipes concernées : Analyse des pratiques musicales, Équipe concernée : Interaction son musique mouvement Interaction son musique mouvement Financement : programme H2020- ICT22-2014-c Financement : ANR, programme Contenus et interactions Période de réalisation : février 2015 – janvier 2018 Période de réalisation : novembre 2012 - octobre 2015 Partenaires extérieurs : Universitat Pompeu Fabra (coordinateur), Partenaires extérieurs : Eurecom Sophia Antipolis, Universal Music Goldsmiths’ College, Plus – Wireless Biosignals SA, Reactable Systems, Publishing Classical, Vi-live Audio Gaming, Roli, Orbe SARL Coordinateur : Ircam

L’objectif du projet européen Rapid-Mix était de développer de nouveaux Le projet WAVE visait à formaliser de nouveaux moyens d’édition, de modes d’interaction musicale en intégrant des données multimodales visualisation et d’interaction avec des objets temporels audiovisuels dif- liées aux mouvements et au corps. D’un point de vue méthodologique, le fusés sur le web. projet s’est basé sur des approches centrées utilisateur (user-centered Il a donné lieu à la conception et au développement de briques logicielles design) et sur le développement rapide de prototypes (agile prototyping). concernant les interfaces et interactions utilisateurs, les interfaces Des techniques avancées d’analyses de signaux et d’apprentissage auto- audionumériques, les interfaces clients/serveurs, et leurs échanges de matique ont également été utilisées. Le transfert de ces technologies données. Ces différentes briques logicielles sont issues de l’analyse de vers les PMEs participantes a représenté un aspect important du projet. pratiques musicales expertes confrontées à des usages ordinaires d’ap- Dans ce projet, l’UMR STMS était principalement en charge du dévelop- plications et standards du web, dans le but de proposer des cas d’usages pement d’applications prototypes et de briques logicielles. En particulier, innovants ou de nouveaux services. le module de captation de mouvement WiFi R-IoT, initialement créé par l’Ircam, a été commercialisé par la société pluX. Le projet s’est basé sur les standards du Web, afin de proposer des interfaces cohérentes, accessibles et innovantes et de nouvelles expériences utilisateurs adaptées à la consultation, à l’interaction, à l’annotation, à la transformation et au partage d’objets temporels pour contribuer à l’émergence d’un web véritablement hypermédia et interactif. Le projet s’est notamment traduit par l’organisation à l’Ircam, en 2015, de la première Web Audio Conference (WAC) en collaboration avec Mozilla, Google, et le W3C.

58 Les projets - C3. Les dynamiques créatives

Outils de publication multimédia pour la musicologie — Équipe concernée : Analyse des pratiques musicales

Cette recherche visait à expérimenter et, dans certains cas, standar- Les enjeux relèvent du génie documentaire : utiliser un format bien diser des formats originaux de publication multimédia sur la musique. On défini (pour faciliter le traitement des données) mais cependant pas trop peut dire que n’importe quel discours analytique sur la musique contient, contraignant pour les auteurs ; pouvoir intégrer des exemples musicaux en soi, un fort potentiel de « multimédia » puisqu’il comprend un texte visuels et sonores ; rendre possible plusieurs types de publication (sur le (le commentaire verbal) et des pointeurs vers des données musicales web, sous forme de CD-Rom ou DVD-Rom, mais aussi en version papier). (citations d’exemples musicaux, références à des mouvements ou des Pour ce faire, et étant donné la quantité de commandes impliquées par passages des œuvres, etc.). Pourtant, paradoxalement, ce n’est que ces projets, il est impossible de compter sur une mise en forme manuelle récemment que les musicologues se sont intéressés aux nouvelles possi- des données fournies par les auteurs pour chaque publication. Il faut bilités expressives de la publication multimédia (en ligne et sur support), donc passer par un outil dédié à ces types de publication et intégrant jusqu’alors limitées aux publications de CD-Rom éducatifs et culturels. les contraintes précédemment énumérées. C’était l’objet de notre par- Pour contribuer à ce mouvement, nous avons procédé à une démarche ticipation au projet RIAM Ecoute (« Environnement auteur pour l’écoute en deux temps. musicale instrumentée, la gestion des archives sonores et leur publica- D’abord, l’expérimentation consistant à réaliser diverses analyses musi- tion multisupport ») et au projet RNTL Scenariplatform. cologiques dans un environnement multimédia, en spécifiant au fur et à L’ensemble de cette démarche a d’ores et déjà permis d’établir un format mesure cet environnement en fonction des étapes de la démarche ana- de publication pour l’analyse musicale, expérimenté au départ dans une lytique. Cette activité d’expérimentation se concrétise, d’une part, par maquette de cours en ligne pour le projet européen MusicWeb (2003), le développement d’outils d’analyse en collaboration avec des musicolo- puis dans une publication scientifique sur l’analyse d’interprétation gues (par ex. « Charting the Score, outil de mise en tableau de partition », (2005) et, enfin, formalisé lors de la conception d’une série de CD-Roms en collaboration avec Jonathan Goldman) ; d’autre part, par la publica- associée au projet Musique Lab2 (2006-2007) dans le cadre d’un accord tion de documents multimédia, sur DVD-Rom (tels ceux joints à L’inouï, entre l’Ircam et la région Provence-Alpes-Côte d’azur. Les CD-Roms réa- revue de l’Ircam en 2005 et 2006) et dans des revues en ligne telles que lisés, portant, l’un sur les Variations op. 27 de Webern, l’autre sur Voi(rex) DEMeter (université de Lille-3) ou Musimédiane – revue audiovisuelle et de P. Leroux, proposent deux niveaux de lecture de l’œuvre : multimédia d’analyse musicale. • Le premier introduit l’œuvre en donnant à lire la partition au fil de Ensuite, par un processus de comparaison et d’abstraction, nous avons l’écoute, enrichi de quelques éléments contextuels en cours de procédé à la formalisation des opérations analytiques mises en jeu. Ceci lecture ; a permis de standardiser des formats de publication utilisant le texte, le • Le second propose plusieurs points analytiques sur l’œuvre, dont son et l’image – non seulement pour les besoins spécifiques des musi- chacun pointe, au moyen de lien hypermédia, vers des passages cologues mais aussi pour des modalités voisines de publication sur la clefs de la partition annotée par l’auteur au moyen du logiciel musique, propres aux projets institutionnels de l’Ircam (refonte de la Musique Lab annotation. L’intégralité du contenu est produite par base de données Brahms, constitution du Répertoire Ircam, documen- l’auteur lui-même à l’aide de l’outil auteur Scenari-CHaIN et de la tation logicielle). suite logicielle Musique Lab.

59 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Histoire de l’acoustique musicale en France Les pouvoirs du son. Musique et science en France de la Révolution à — la Première Guerre mondiale : Équipe concernée : Analyse des pratiques musicales Centré sur la France, ce projet dirigé par Fanny Gribenski et Jillian Rogers (Indiana University Jacobs School of Music) traite des rapports entre Au cours des dix dernières années, de nombreux travaux consacrés à musique, science et pouvoir en France durant le long xixe siècle. Le haut l’histoire des relations entre musique et science ont vu le jour. La plu- degré de centralisation du système musical, scientifique et politique fran- part des études dans ce domaine se sont concentrées sur la production çais en fait un bon point d’entrée pour envisager l’entrecroisement entre des savoirs et les dialogues entre laboratoires scientifiques, ateliers de musique et science, ainsi que l’enchevêtrement de ces deux domaines fabricants et facteurs d’instruments, et sociétés savantes, notamment avec de multiples institutions, réseaux d’acteurs et instruments. Le projet en Allemagne, en Angleterre et aux États-Unis. Ce projet prolonge et analyse différents moments de co-production des pratiques musicales et développe ces travaux en envisageant l’histoire complexe des rapports scientifiques et montre comment leurs interactions furent façonnées par entre musique et science en France et dans ses colonies de la fin du des contextes militaires, religieux, industriels, sociaux, ou environne- xviiie siècle jusqu’à nos jours, et en examinant les implications ments en France et à l’étranger. Outre qu’elle implique une extension plus larges de ces échanges pour la vie sociale dans son ensemble. du champ d’investigation des rapports entre musique et science, cette recherche se fonde sur un examen détaillé et nuancé des circulations de Cette recherche se déploie dans le cadre de deux projets collectifs : pouvoir autour du son à partir d’un méticuleux travail d’archive. À travers 1. Les pouvoirs du son. Musique et science en France cette double reconfiguration de l’échelle d’investigation, ce projet offre de la Révolution à la Première Guerre mondiale un nouveau cadre pour comprendre le développement des pratiques 2. La fabrique de l’acoustique musicale à Paris depuis 1945 musicales et scientifiques, tout en soulignant l’importance plus générale de ces relations pour l’histoire sociale, politique, et culturelle. Au mois de décembre 2020, nous organiserons une journée d’étude avec les auteurs d’articles pour un numéro spécial de revue dont la parution est prévue en 2022. Dans les années qui viennent, nous poursuivrons ces réflexions sur la longue durée, de l’époque moderne à aujourd’hui.

60 Les projets - C3. Les dynamiques créatives

Temporalité et spatialité musicales de la conscience morbide — Équipe concernée : Analyse des pratiques musicales

Deux axes principaux articulent ces recherches. Ce projet s’accompagne d’un second axe : l’édition critique d’œuvres de L’un porte sur la compréhension de la conscience morbide dans l’œuvre jeunesse inédites de Jean Barraqué aux éditions Bärenreiter, réalisées par musicale : nous ne visons, dans les analyses d’œuvres, de Barraqué et de Laurent Feneyrou, Michael Töpel, Aurélien Maestracci et Frédéric Durieux. Zimmermann – d’autres suivront –, ni à une psychanalyse du musicien, à Après la Sonate pour violon, dont la première audition a eu lieu au Théâtre l’image de nombre d’études sur Robert Schumann ou sur Hugo Wolf, ni des Bouffes du Nord, le 30 novembre 2009 dans le cadre du Festival à une lecture psychiatrique de la musique, établissant un diagnostic et d’automne à Paris (Caroline Caroline Widmann, violon), après la création rendant indivises analyse musicale et analyse clinique, mais à un socle de de pièces pour piano (1947-1950) (Nicolas Hodges, piano) et du Qua- résonance, au leitmotiv de la biographie, de l’expérience, de l’esthétique tuor à cordes (Quatuor Diotima) dans le cadre du festival Musica de et de la philosophie de l’art, afin de décrire leur monde, sa temporalité et Strasbourg, le 5 octobre 2011, le festival Ultraschall de Berlin a donné, sa spatialité propre, ainsi que leur manifestation du langage et du silence, en janvier 2012, de nouvelles créations : Ecce videmus eum, pour chœur mais aussi de mettre en évidence la structure de leur forme d’existence et mixte a cappella (RIAS Kammerchor, sous la direction de Hans-Chris- d’étudier les éléments constitutifs de ces mondes. toph Rademann), La nature s’est prise aux filets de ta vie, pour flûte, Cet axe a impliqué des recherches en histoire de la psychiatrie, dans son clarinette basse, tambour, cymbale suspendue, chœur, contralto solo et versant daseinsanalytique, et plus généralement, en histoire de la méde- piano (RIAS Kammerchor et Kammerensemble Neue Musik Berlin, sous la cine, qui ont abouti à l’édition critique, largement commentée, d’essais direction de Hans-Christoph Rademann), Trois Mélodies (1948), la Petite de Danilo Cargnello et de Giovanni Morelli, ainsi qu’à des communica- Chanson pour Gravigny (1948), Deux Mélodies sur des poèmes de Paul tions de Laurent Feneyrou dans le cadre du séminaire de l’École française Valéry (1948-1949), La Porte ouverte (1949), Les nuages s’entassent sur de Daseinsanalyse et à l’Institut des humanités en médecine de Lausanne. les nuages (1950) et la première des Trois Mélodies (1950) (Anja Petersen, En outre, centrées sur la temporalité des œuvres de Bernd Alois Zimmer- soprano, Nicolas Hodges, piano), dont le cycle complet est créé à Genève, mann (Les Soldats, Requiem pour un jeune poète, Ich wandte mich und 20 novembre 2016, dans le cadre de la saison de Contrechamps (Christina sah an alles Unrecht das geschah unter der Sonne…), des recherches Daletska, contralto, et Stefan Wirth, piano). Ont suivi des partitions plus philosophiques s’imposent, qui portent principalement sur ses sources conséquentes : le ballet pour orchestre Melos, créé à Cologne, 24 juin 2017 bibliques, musicales et musicologiques (Traité d’harmonie d’E. Pound, (WDR Sinfonieorchester Köln, sous la direction de Jean-Michaël Lavoie) « …comment passe le temps » de K. Stockhausen, théories de M. Haupt- et la Musique de scène, créée à Vienne, le 6 novembre 2017 (ensemble mann) et philosophiques (saint Augustin, Husserl et Heidegger, mais aussi sirene, sous la direction de François-Pierre Descamps). divers représentants de la philosophie allemande néo-kantienne et phéno- La dernière œuvre inédite de Barraqué, La Nostalgie d’Arabella (en cours ménologique, explicitement mentionnées par Zimmermann), en vue d’une de publication), sera créée en 2021, à Paris. Ces œuvres devraient par exégèse ligne à ligne de l’essai Intervalle et temps, ainsi que des princi- ailleurs faire l’objet d’un enregistrement discographique. Le travail édito- paux articles du compositeur relatifs à ce thème. rial s’accompagne de la rédaction d’articles (articles scientifiques, entrée Barraqué de la base Brahms, préfaces des partitions, notices de vulgari- sation…).

61 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Dire la Musique ALCOLL — — Équipe concernée : Analyse des pratiques musicales Équipe concernée : Analyse des pratiques musicales Financement : Sorbonne Université, programme Emergences En regard de l’œuvre et de la création, desquelles ils procèdent souvent, Période de réalisation : septembre 2017 – juillet 2018 les écrits de compositeurs sont indispensables à la compréhension de la Collaborations : IReMus musique du xxe siècle. Avec Charles Baudelaire naissait en effet l’exigence de l’artiste raisonnant son art et découvrant les lois obscures en Le projet « Analyser le collectif dans les processus de création musicale » vertu desquelles il écrit : « Il est impossible qu’un poète ne contienne pas [ALCOLL] vise à rendre compte de processus créateurs en musique par- un critique. » Biographiques, critiques, théoriques, esthétiques, généalo- delà l’opposition supposée entre individuel et collectif (et, par là même, giques, balisant les chemins d’une œuvre encore en devenir ou se livrant entre musicologie et sciences humaines et sociales). Qu’est-ce qui, dans à l’introspection analytique, les écrits de compositeurs renouvellent un travail musical donné, tient du particulier et qu’est-ce qui tient du concepts et méthodes des discours sur la musique. général ? Qu’est-ce qui relève en propre de la participation de tel ou telle Parfois menacées par la dispersion des archives et la détérioration, à l’action créative ? C’est ce dont le projet ALCOLL se propose de prendre sinon la disparition des manuscrits et des tapuscrits en langue originale, la mesure à travers une relecture de données issues d’observations de ainsi que des bandes magnétiques d’entretiens, les éditions envisagées, situations de création musicale (composition, improvisation, interpréta- volontiers exhaustives, situent chacun des articles et proposent un appa- tion), l’organisation de séminaires, ainsi que la réalisation d’une enquête reil critique (références historiques, biographiques et bibliographiques, ethnographique. index, index des œuvres, catalogues…), mettant ainsi à la disposition des musiciens, des mélomanes, des institutions et des salles de concert des documents réunis, traduits et annotés. Après les éditions des écrits de Jean Barraqué, de Giacomo Manzoni, de Luigi Nono, de Louis Saguer et de Salvatore Sciarrino, Laurent Feneyrou a édité les écrits de Frédéric Durieux – d’autres éditions sont en cours.

Instruments of Improvisation — Équipe concernée : Analyse des pratiques musicales

À partir du travail au sein du projet «Musique & Hacking», une ré- flexion plus générale s’est imposée sur les multiples prises matérielles qu’exercent les musiciens sur leurs instruments, envisagées comme autant de moyens d’appropriation, de singularisation, d’optimisation ou encore de délégation cognitive. Près de cinquante entretiens ont été réalisés auprès d’instrumentistes aux pratiques musicales variées mais comportant toutes une part plus ou moins grande d’improvisation (improvisation libre, jazz, musique baroque, musiques traditionnelles). Tous les musiciens sont interrogés dans leur atelier, instrument « à la main », pour permettre l’exploration la plus fine possible. Ce travail donnera lieu à l’écriture d’un livre et sera accompagné de la réalisation d’un web- documentaire

62 4 Les logiciels

63 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

ADMix Tools — Conception et développement : équipe Espaces acoustiques et cognitifs

La suite logicielle ADMix Tools, développée dans le cadre du projet euro- Un fichier ADM peut également contenir plusieurs « programmes » qui péen ORPHEUS (programme H2020, cf. p. 35), permet l’enregistrement exploitent chacun tout ou partie des pistes audio et sont associés à dif- (ADMix Recorder) et la reproduction (ADMix Renderer) de contenus en férents jeux de métadonnées. Cette fonctionnalité peut être utilisée pour format objet. Le format objet retenu suit le standard ADM (Audio Definition transmettre un contenu en différentes langues, où seuls les dialogues de Model) défini par les instances de normalisation internationales (EBU et la langue sélectionnée seront diffusés tandis que les composantes musi- ITU). Les contenus ADM prennent la forme de fichiers audio au format cales et sons d’ambiances seront partagés par tous les programmes. Une .wav (BW64) dont un segment contient les métadonnées structurées et autre application de ces contenus multiprogrammes peut consister à trans- encodées au format . L’association des pistes audio et des objets mettre une même scène sonore, mixée et restituée selon différents points référencés dans la section de métadonnées est définie dans un segment d’écoute. de type . En pratique, le module d’enregistrement (ADMix Recorder) s’interface avec Les éléments constitutifs du fichier peuvent être de différents types, toute station de travail audionumérique et permet de traduire et enregis- « DirectSpeakers », « HOA », « binaural », « Matrix » ou « Objets ». Les élé- trer les métadonnées ADM sous forme d’automation en ayant recours au ments de type « DirectSpeakers » permettent de véhiculer une ambiance ou protocole de communication OSC. Le module de reproduction (ADMix Ren- un premix multicanal et sont définis par leur standard (stéréo, 5.1, etc.). Les derer) est basé sur la bibliothèque du Spat~ et permet ainsi de décoder les éléments de type « HOA » sont définis par leur ordre. Les éléments de type contenus sur tout type de système de restitution 2D ou 3D, en particulier « Objets » sont les plus génériques et sont définis par la position spatiale le binaural sur casque, VBAP et HOA sur une distribution 2D ou 3D de et le gain de leurs différentes pistes constitutives. Ces positions et gains haut-parleurs. peuvent varier au cours du temps. Configuration La suite logicielle ADMix Tools, téléchargeable depuis le site du Forum Ircam, est disponible pour les environnements Mac OSX, Windows.

Fenêtre principale de l’application ADMix Renderer. 1) Vu-mètres correspondant aux différents objets constitutifs du fichier audio ; 2) Vu-mètres des différents canaux de sortie créés en fonction du mode de rendu ; 3) Choix du dispositif de rendu (binaural sur casque ou configurations standard ou ad hoc de haut-parleurs ; 4) Visualisation des positions instantanées des différents objets ; 5) Graphe de la scène sonore et activation des objets (mute/solo).

64 Les logiciels

Antescofo antescofo-doc.ircam.fr — Conception et développement : équipe Représentations musicales, Projet MuTant et la start-up Antescofo

Antescofo est un système de suivi de partition modulaire et un langage Fonctions principales de programmation synchrone pour la composition musicale. Le module • Reconnaissance temps réel de la position et tempo des flux audio poly- effectue une reconnaissance automatique en temps réel de l’interprétation phoniques sur une partition ; - position dans la partition et tempo - permettant ainsi de synchroniser • Écriture des processus électroniques en temps relatif, absolu et une performance instrumentale avec celle d’une partition virtuelle informa- rationnel ; tique. Antescofo réunit la description des parties instrumentales et électro- • Gestion du temps événementiel et chronométrique (durée continue) ; niques dans la même partition, grâce à un langage synchrone conçu pour la • Séquencement interactif des partitions multimédia ; pratique de musique mixte, visant à augmenter l’expressivité de l’écriture • Traduction de partitions MIDI ou MusicxML ; des processus temps réel, sous une forme adaptée au langage musical. • Communication OSC, entrée/sortie au format JSON. Après le chargement de la partition, Antescofo est capable de suivre la position et le tempo des musiciens en temps réel et de synchroniser les Configuration actions programmées pour la partie d’informatique musicale (déclen- Antescofo est une bibliothèque d’objets pour l’environnement Max (Ircam/ chement et contrôle de la partie électronique). Antescofo prend comme Cycling’74) sous systèmes d’exploitation Mac OS X ou Windows XP. Antes- entrée un flux d’audio polyphonique. Antescofo est aussi utilisé comme cofo est également disponible comme objet pour PureData sous Mac OS séquenceur programmable pour le contrôle en temps réel de processus de X, Windows et Linux. synthèse sonore et de spatialisation complexes.

Applications Œuvres musicales interactives, accompagnement automatique, mapping geste/synthèse sonore, contrôle de la spatialisation, pédagogie musicale.

65 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

CataRT — Conception et développement : équipe Interaction son musique mouvement

La synthèse concaténative par corpus utilise une base de données de sons Configuration enregistrés, et un algorithme de sélection d’unités qui permet de choisir • Version application : Mac OS 10 ou supérieur, collection pour Max 7 les segments de la base de données, afin de synthétiser par concaténation runtime ou supérieur ; une séquence musicale. La sélection est fondée sur les caractéristiques de • Version device Max4Live : Ableton Live 10 ou supérieur ; l’enregistrement, qui sont obtenues par analyse du signal et correspondent • Version modulaire: Mac OS 10.10 ou supérieur ou PC Windows avec par exemple à la hauteur, à l’énergie ou au spectre. Max 7 ou supérieur et package MuBu. La mise en œuvre en temps réel de cette nouvelle approche de la syn- thèse sonore par le système CataRT permet une exploration interactive et en temps réel d’une base sonore et une composition granulaire ciblée Formats de fichiers audio par des caractéristiques sonores précises. Cela permet aux compositeurs • jusqu’à 32-bit/192 kHz entier et flottant : AIFF, AIFC, WAV, FLAC, AAC, et musiciens d’atteindre de nouvelles sonorités, et aux designers sonores MP3 ; de rapidement explorer un corpus sonore constitué par un grand nombre • fichiers SDIF pour l’importation de marqueurs de segmentation d’enregistrements. d’AudioSculpt (version application) ; CataRT existe en application standalone, en device pour Ableton Live ou • fichiersMIDI pour l’importation de segmentation et annotation de en système modulaire implémenté dans Max avec les extensions MuBu. pitch (version application). L’interaction repose sur une interface simple consistant en l’affichage • fichiers extT pour l’importation de segmentation et annotation de d’une projection 2D de l’espace de descripteurs, et une navigation où les labels, par exemple de Audacity (version application). grains sont sélectionnés et joués par proximité géométrique. Cette navigation peut être contrôlée avec la souris, avec des contrôleurs externes (pads multitouch, joysticks, cameras), ou avec l’analyse d’un signal audio.

Applications Œuvres musicales et multimédia fixes ou interactives, sound design, synthèse de textures environnementales, nouveaux instruments, recherche dans les bases de données sonores.

Fonctions principales • Importation audio avec segmentation et analyse automatique ; • Analyse, visualisation, et jeu interactif avec des sons ; • Exportation des données d’analyse ; • Composition par navigation interactive dans un espace de descripteurs sonores ; • Brassages et juxtapositions d’un nombre massif de sons ; • Traitements granulaires flexibles ; • Spatialisation granulaire en ambisonique d’ordre supérieur (HOA) ; • Communication avec séquenceurs MIDI ; • Recherche interactive efficace d’événements ou singularités dans des nombreux et longs enregistrements, séparation de bruits parasites.

66 Les logiciels

IRCAM Lab TS — Conception et développement : équipe Analyse et synthèse des sons

TS est un logiciel indépendant de transformation et de • Compression/expansion : dilatation temporelle à partir de SuperVP et qui reprend des éléments Modificationde la longueur du son sans changer sa hauteur ou son d’interface d’AudioSculpt 3. timbre et en préservant la qualité des attaques et transitoires. Préré- glages définis pour différents modes de transposition avec la possibi- Applications lité d’ajuster plus finement la F0 max et l’enveloppe spectrale. Composition, design sonore, postproduction, enseignement. • Fonction Remix : Remixage des transitoires, sinusoïdes et de la partie bruitée du signal. Fonctions principales • Contrôle : • Visualisation : Lecture audio avec contrôles standard. Mode d’enregistrement des Affichage du sonogramme, spectre et de la forme d’onde. Zoom inte- résultats en différé ou en temps réel avec modification des paramètres. ractif sur le signal temporel jusqu’au niveau de l’échantillon, sona- Pilotage et automation via contrôleur MIDI possible. gramme linéaire et logarithmique. Analyse FFT, LPC, True Envelope. Configuration • Macintosh sous Mac OSX 10.6 ou supérieur. • Formats de fichiers audio : AIFF/AIFC, Wav (et autres formats permis par la bibliothèque libsndfile).

67 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Max Le standard mondial pour l’interactivité sonore temps réel —

Max (anciennement Max/MSP) est un environnement visuel pour la pro- Traitement vidéo temps réel grammation d’applications interactives temps réel. C’est actuellement la Une bibliothèque d’objets pour le traitement vidéo (Jitter) est incluse avec référence mondiale pour la création d’installations sonores interactives. le logiciel. Elle permet un contrôle de très bas niveau et la programmation Max est la combinaison du logiciel Max (Ircam/Cycling’74) pour le contrôle de nombreuses applications. temps réel d’applications musicales et multimédia interactives par MIDI, de MSP, une bibliothèque d’objets pour l’analyse, la synthèse et le trai- Enseignement tement du signal audio en temps réel et de Jitter qui est un ensemble Max est un outil pédagogique largement répandu dans les universités, les d’objets vidéo, matriciels et graphiques 3D pour l’environnement. Max est écoles de musique et les conservatoires. La documentation intégrée direc- conçu pour les musiciens, les designers sonores, les enseignants et les tement dans le logiciel comprend de nombreux tutoriels interactifs pour la chercheurs qui souhaitent développer des programmes interactifs temps compréhension du signal audio, du système MIDI ou encore de la vidéo. réel. Max est développé et édité par la société Cycling’74 (États-Unis) sous licence exclusive de l’Ircam. Recherche Max est utilisé en recherche pour prototyper des algorithmes de synthèse Composition ou de traitement du signal en temps réel. De nouveaux objets externes Génération de structures musicales au moyen de modèles mathématiques peuvent être programmés en langage JavaScript, Java et C. et aléatoires. Caractéristiques techniques Accompagnement Live Plusieurs centaines d’objets pour la synthèse, le contrôle, le traitement, Production d’œuvres mixtes où la partie électronique réagit au jeu de l’échantillonnage ou l’analyse. Le moteur audio offre le support du multi- l’instrumentiste (par captation du jeu instrumental par microphone ou processing, du calcul en 64 bits et apporte de nombreuses améliorations par MIDI) ou bien par modification directe du son de l’instrument. Max du rendu sonore. se comporte comme un séquenceur en contrôlant la diffusion de sons ou Max intègre un système de génération de code et compilation à la volée à de fichiers audio dans le temps. Le contrôle dynamique de programmes partir de patches, permettant la création rapide de nouveaux traitements complexes pilotant de la musique, de la vidéo ou des effets de lumière est performant directement dans l’environnement Max. aussi possible.

Postproduction audio et pilotage de périphériques Contrôle possible de périphériques extérieurs tels que tables de mixage, systèmes « direct-to-disk », synthétiseurs, etc.

68 Les logiciels

Modalys — Conception et développement : équipe S3AM

Modalys est un environnement de lutherie virtuelle permettant de créer des Utilisation instruments à partir d’objets physiques « simples » tels que cordes, plaques, Choisi par de nombreux compositeurs et designers sonores, Modalys for tubes, membranes, plectres, archets ou marteaux, et de les faire interagir. Max est l’incarnation de Modalys dans l’environnement temps réel Max, utilisé pour construire graphiquement des instruments sophistiqués à partir Il est également possible de construire des objets aux formes plus com- de cordes, plaques, membranes, tubes avec accès à tous types de maté- plexes par maillage 3D ou par le résultat de mesures réelles ; Modalys se riaux (métal, bois, diamant, etc.), taille (illimitée) et interactions : frappe, charge alors de leur donner vie et de calculer leurs vibrations sonores en pincement, frottement, souffle etc. Cette interface permet le contrôle direct situation de jeu. de Modalys en temps réel. Modalys for Max nécessite Max 5 ou supérieur En combinant ces différents objets physiques résonnants et en spécifiant (7 inclus), et est disponible pour Mac OS X (à partir de 10.6) et Windows le type d’interaction (frappe, frottement, embouchure, anche, etc.), l’uti- (7 ou plus récent). lisateur construit ses propres instruments et choisit le type de jeu et de contrôle. En outre, Max et OpenMusic offrent un dialogue direct avec le moteur de synthèse Modalys via des interfaces graphiques intuitives. Alternativement, Modalys peut être mis en œuvre à partir de ModaLisp, un environnement textuel de programmation, et peut donc être utilisé Domaines d’application pour définir les modèles physiques de l’instrument et le faire jouer avec • Composition musicale : musique contemporaine, techno, électro, etc. ; une approche de type script. Dans cette approche, l’utilisateur écrit et • Design sonore : travail naturel sur la qualité sonore (métallique, boisé, exécute des programmes Lisp pour obtenir le résultat musical escompté. etc.) ; Également, le logiciel de programmation musicale de l’Ircam OpenMusic, • Pédagogie : la théorie modale en pratique ; lui-même basé sur Lisp, permet de contrôler les modèles de Modalys d’une • Cinéma & vidéo : habillage sonore ; façon à la fois musicale et graphique (contrôle par une partition ou par des • Recherche & développement scientifiques : comparaison des modes éditeurs de courbes). déterminés théoriquement et mesurés. Enfin, pour une approche scientifique de la synthèse modale, Modalys Fonctions principales s’interface aisément avec MatLab grâce à des bibliothèques dédiées. Au cœur de Modalys réside un moteur de synthèse permettant de créer et de faire sonner des instruments virtuels à partir d’objets physiques simples Configuration ou créés à partir de mesures ou même à partir de maillage 3D. L’utilisateur Macintosh sous Mac OS X 10.6 minimum, ou Windows 7 ou supérieur construit ainsi un instrument et décide ensuite de la manière dont il va en (Modalys for Max uniquement). jouer. Pour ce faire, l’utilisateur passe par les étapes suivantes : • Choix des objets physiques qui vont constituer l’instrument (exemples : tube, corde, membrane, plaque, plectre, archet, marteau, etc.). Ces objets sont simulés avec des paramètres par défaut que l’utilisateur peut modifier ; • Choix des « accès » aux objets, positions où ces derniers seront mis en interaction ; • Mise en place des « connexions » correspondant aux modes de jeu tels que frapper, souffler, frotter, etc. ; • Choix des contrôleurs permettant de modifier en temps réel les para- mètres d’un mode de jeu.

69 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

MuBu pour Max OMax & co — — Conception et développement : équipe Interaction son musique mouvement Conception et développement : équipe Représentations musicales

MuBu (pour «Multi-buffer») est un ensemble de modules Max pour OMax est un environnement pour l’improvisation avec ordinateur qui ana- le traitement du signal temps réel multimodal (audio et mouvement), lyse, modélise et réimprovise en temps réel le jeu d’un ou de plusieurs ins- l’apprentissage automatique, et la synthèse sonore interactive. trumentistes, en audio ou en MIDI. OMax est basé sur une représentation informatique nommée « Oracle des facteurs », un graphe qui interconnecte Le conteneur MuBu permet de stocker, éditer et visualiser divers types de tous les motifs et leurs variations et fournit donc une carte de navigation pistes temporelles synchronisées : audio, descripteurs sonores, données dans la structure de la musique, engendrant ainsi un grand nombre de de captation gestuelle, marqueurs de segmentation, partitions MIDI. variantes cohérentes stylistiquement. OMax base sa reconnaissance soit Des représentations musicales symboliques simplifiées des paramètres sur des notes (suivi de hauteurs), soit sur des timbres (suivi spectral). de contrôle de synthèse et de la spatialisation peuvent être également intégrées. Cela permet de traiter dans Max des structures de données Applications complexes : données audio segmentées et annotées alignées avec des Improvisation avec ordinateur, œuvres musicales interactives, descripteurs audio, données de captation gestuelles annotées, données accompagnement automatique, co-créativité homme-machine. audio et gestuelles alignées. Fonctions principales MuBu intègre des modules pour l’apprentissage machine interactif, pour la • Architecture modulaire permettant d’allouer des agents improvisateurs, reconnaissance de formes sonores ou gestuelles. Il intègre également un des agents joueurs (players) et de les interconnecter librement (e.g. format de plug-in pour le traitement de flux audio ou gestuels, PiPo (Plugin plusieurs joueurs connectés sur un même improvisateur peuvent créer Interface for Processing Objects). Les données dans MuBu sont scriptable par exemple un canon avec augmentation rythmique) ; grâce à l’intégration du support javascript de Max. • Visualisation temps réel interactive du modèle de connaissance, fonctions de sélections multiples et de focalisation opérant sur la Applications représentation visuelle ; Œuvres musicales et multimédia interactives, synthèse sonore interactive, • Écoute artificielle adaptative à partir du signal audio, Modélisation musique, danse. incrémentale du modèle de connaissances représentant la carte des motifs musicaux, Heuristiques de Génération selon des critères de Fonctions principales continuité formelle, motivique ou énergétique. • Multi-buffer avec interface graphique ; • Traitement de flux de données et de données stockées ; Omax a engendré plusieurs logiciels compagnons : SoMax, ImproteK • Extraction de descripteurs sonores ; • SoMax est un agent autonome capable de générer du contenu musical • Importation/exportation de fichiers audio, SDIF, json, MIDI, MuBu ; cohérent en se basant sur une connaissance extraite par apprentissage • Sélection d’unité par k-NN ; d’un corpus ; • Synthèse concaténative, granulaire et PSOLA ; • SoMax met l’accent sur l’écoute instantanée et le guidage implicite • Synthèse additive ; opéré par le musicien humain pour naviguer de manière à la fois • Reconnaissance de formes sonores ou gestuelles réactive et auto-cohérente, de sorte à produire accompagnement, (GMM, HMM, XMM, GF, DTW) ; contrepoint ou co-improvisation. • Apprentissage automatique. ImproteK est un système d’improvisation musicale homme-machine guidé Configuration par un scénario temporel formalisé (grille harmonique, composition. MuBu est une librairie d’objets Max pour MacOsX et Windows, Objet d’un partenariat avec l’EHESS, Il est particulièrement efficace dans distribué via le Forum Ircam et le Package Manager de Max. l’improvisation pulsée et idiomatique (jazz, blues… par exemple) ou la composition.

Configuration Versions récentes de Mac OSX et de Max.

70 Les logiciels

OpenMusic — Conception et développement : équipe Représentations musicales

OpenMusic (OM) est un environnement de programmation visuelle dédié Bibliothèques spécialisées à la composition et à l’analyse musicale assistées par ordinateur. Open- Musique spectrale, contraintes musicales, algorithmique musicale, struc- Music offre à l’utilisateur la possibilité de programmer graphiquement des tures rythmiques, générateurs probabilistes stochastiques ou chaotiques, procédures de traitement ou génération de données musicales à l’aide de synthèse sonore, synthèse spatiale (Spat~), contrôle et traitements sonores nombreux modules graphiques et fonctions prédéfinies, assemblées en (super-vp, additive, chant, csound), etc. programmes visuels. Les programmes peuvent ensuite s’intégrer les uns dans les autres pour constituer des processus complexes produisant des Caractéristiques techniques et configuration structures de plus en plus élaborées. OpenMusic est aujourd’hui utilisé par Programmation basée sur le langage Common Lisp / LispWorks un grand nombre de compositeurs et de musicologues. Il est enseigné dans (www.lispworks.com/) les principaux centres d’informatique musicale ainsi que dans plusieurs Principalement MacOS, versions Windows et Linux possibles. universités en Europe et dans le monde.

Fonctions principales • Construction graphique de programmes fonctionnels (méthodes d’abstraction/ application, fonctions d’ordre supérieures, structures conditionnelles, itérations…) ; • Fonctions de haut niveau pour la création et la transformation des structures musicales (hauteurs, rythmes, etc.) ; • Manipulation algorithmique des données aux formats MIDI, audio, SDIF, Communication OSC ; • Éditeurs graphiques : partitions en notation musicale traditionnelle et proportionnelle (avec import et export vers les principaux formats d’échanges), courbes 2D/3D et « breakpoint functions ». • Outils mathématiques pour l’analyse et la composition ; • « Maquettes » : éditeur graphique permettant de créer des formes temporelles et hiérarchiques aux programmes visuels.

Le logiciel de composition OpenMusic (Assayag, Agon, Bresson)

71 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Orchid* — Conception et développement : équipe Représentations musicales selon un ensemble de critères acoustiques et perceptifs. Il peut aider les Le logiciel d’aide à l’orchestration de l’Ircam, développé par l’équipe compositeurs à obtenir des couleurs de timbre inouïes en fournissant une RepMus, propose des mixtures instrumentales comme solution d’un pro- multitude de solutions efficaces qui recréent au mieux cette cible sonore. blème d’orchestration consistant à imiter le mieux possible perceptivement Grâce à un ensemble étendu de fonctionnalités, Orchid* peut également une cible acoustique. reproduire des évolutions spectrales en analysant la dynamique temporelle. Orchid* s’est décliné en trois instances d’orchidées développées au sein de Ses résultats fournissent des partitions d’orchestre multiples pouvant être l’équipe : Orchidee, Orchids et Orchidea. organisées de manière intuitive afin d’obtenir rapidement une réalisation • Orchid / Orchidée, la première réalisation a fixé les lois du genre en d’idées orchestrales et musicales. Orchid* peut utiliser plusieurs bases termes de fonctionnalités d’orchestration imitative, et de méthodes de données de sons instrumentaux mais peut également être étendu de avec la prédiction de descripteurs audio des mixtures, l’optimisation manière illimitée, y compris avec des sons de synthèse, en important sim- multi ou mono objectif par algorithme génétique pour la recherche plement sa propre banque de sons. des solutions orchestrales, l’orchestration statique (cible unique) ou séquentielle (par segmentation) de la cible. Orchidée se déclinait en standalone ou toolbox d’interface Max dialoguant avec le moteur Application d’orchestration. Composition orchestrale, réorchestration, écriture du timbre, pédagogie • Orchids a étendu le champ en passant de l’optimisation multi-objectif musicale. dans un espace de descripteurs à l’optimisation de séries temporelles et ouvert la voie à l’orchestration dynamique continue de morpholo- Fonctions principales gies spectrales complexes et évolutives et a proposé un riche interface • Génération de mélanges et combinaisons orchestrales inouïes par standalone. optimisation d’une cible ; • Orchidea, la version la plus récente, se base comme les autres sur la • Possibilité d’écriture du timbre par mélanges orchestraux et optimisa- recherche génétique pour l’optimisation mono ou multi-objectif et la tion de l’évolution temporelle ; prédiction de descripteurs, et propose aussi, soit une version standa- • Définition de cibles abstraites et d’évolutions temporelles de descrip- lone, soit une toolbox et un GUI en Max. Orchidea affine et optimise teurs spectraux ; l’analyse et la prédiction de descripteurs, la recherche de solutions • Interface simple permettant la spatialisation de l’orchestre ainsi que le et la qualité des enchaînements pour l’orchestration séquentielle, et travail efficace d’une maquette d’œuvre orchestrale ; fluidifie l’interface utilisateur. Orchidea est une collaboration Ircam / • Extension facile de la base de connaissances et recherches tempo- HEM, qui se continuera par une collaboration Ircam / Berkeley, ainsi relles efficaces ; qu’avec des développeurs indépendants tel Daniele Ghisi (Bach). De • Interaction et exports vers de multiples systèmes de notation musi- ce fait Orchidea sera open source. cale ;

Orchid* est un système complet pour l’orchestration assistée par ordina- Configuration teur et l’optimisation de mélanges de timbres. Il fournit un ensemble d’al- Orchids est un logiciel standalone marchant sous toutes les versions du gorithmes permettant de reconstruire n’importe quelle cible sonore évo- système d’exploitation Mac OSX. Orchids est également disponible sous luant dans le temps par une combinaison d’instruments ou échantillons, forme de patchs Max et de serveur C++.

72 Les logiciels

OSCar — Conception et développement : équipe Espaces acoustiques et cognitifs

OSCar est un plugin permettant de communiquer, en lecture comme en Configuration écriture, l’automation des paramètres d’une station de travail audionu- OSCar a été développé avec le framework Juce. Juce offre un wrapper mérique vers d’autres applications, via le protocole OSC. Son application de plugin qui permet, à partir d’une base de code commune, de générer typique concerne la réalisation de mixages spatialisés orientés objet, indé- des plugins dans différents formats (VST, AudioUnits, etc.). Ainsi, OSCar pendamment des contraintes des logiciels hôtes. est disponible sous MacOS et Windows, en format VST3, AU, AAX. Il est distribué via le Forum Ircam. Fonctions principales OSCar s’insère en tant que plugin audio dans le DAW (Digital Audio Workstation, environnement de montage/mixage), sur chacune des pistes à spatialiser. Le plugin OSCar n’affecte aucunement les signaux audio : sa fonction est en revanche d’exposer un certain nombre de paramètres automatisables. Dans un souci de compatibilité avec une vaste gamme de stations audionumériques, il est préférable de restreindre le nombre de paramètres exposés par piste à 32. Lorsque ces pistes d’automation sont activées en lecture, OSCar envoie les données de ces pistes via OSC. De même, si les automations sont armées en écriture, OSCar peut recevoir des paquets OSC depuis une application distante, et inscrire ces données dans les pistes du DAW.

Chaque instance d’OSCar possède un identifiant (ID) qui est réglable par l’utilisateur. Cet identifiant peut être utilisé pour formater les messages OSC émis/reçus par OSCar. Leur syntaxe prend par exemple la forme suivante : «/track/ID/NomParamètre ValeurParamètre» par exemple : « / track/3/azimuth 135.0 »

Dans un souci de simplicité, les paramètres dans OSCar sont tous des nombres flottants en double précision. Les autres types de données pos- siblement encapsulables dans un paquet OSC (tels que nombres entiers, chaînes de caractères, etc.) ne sont actuellement pas gérés.

OSCar n’est pas lié à un moteur de spatialisation ou de synthèse en particulier ; autrement dit, les paramètres d’automation qu’il expose sont géné- riques. Par défaut, ces 32 paramètres se nomment param1, param2, etc. Le libellé des paramètres peut ensuite être configuré. Ceci se fait par le biais d’un fichier de configuration (fichier dit de mapping) au format XML qui doit Vue du plugin OSCar dans ProTools et fichier d’exemple de configuration être chargé dans OSCar. (cf. figure). des paramètres d’automation 1 Plugin en insert sur la piste 1 Le fichier XML de configuration permet de spécifier, pour chacun des para- 2. Liste des paramètres exposés mètres, une mise à l’échelle des valeurs d’automation : dans l’environne- 3. Fenêtre du plugin ment du DAW, les pistes d’automation sont codées en flottant sur [0 – 1] ; 4. Pistes d’automation. OSCar réalise une mise à l’échelle de [0 – 1] Cette mise à l’échelle affecte les données sortantes et l’opération inverse est appliquée aux données entrantes.

73 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Panoramix — Conception et développement : équipe Espaces acoustiques et cognitifs

Panoramix est une station de travail pour le mixage et la postproduction Trois types de bus sont présents : des bus de panning, des bus de réverbéra- de contenus audio 3D. L’outil propose un environnement cohérent permet- tion et un bus « LFE » (« low frequency enhancement »). Les bus de panning tant de mixer, réverbérer et spatialiser des matériaux sonores provenant jouent le rôle de point de sommation des signaux provenant des tranches de divers dispositifs micro-phoniques : arbre principal, appoints, captation d’entrée, régissent la technique de spatialisation (VBAP, HOA, binaural) et Ambisonic aux ordres supérieurs. Plusieurs techniques de spatialisation 3D réalisent l’encodage/décodage des signaux selon le dispositif de restitu- (VBAP, HOA, binaural) peuvent être combinées, et les mixages peuvent être tion. Les bus de réverbération génèrent et contrôlent les sections tardives/ rendus simultanément dans différents formats. Le logiciel présente égale- diffuses du ér verbérateur artificiel. Dans la version actuelle, un réseau de ment les caractéristiques des mixeurs traditionnels (modules d’égalisation retards rebouclés est employé. et compression dynamique, gestion groupée de paramètres, routage des Enfin, la tranche « Master » permet de collecter les signaux de sortie de signaux d’entrée/sortie, etc.), et il est entièrement contrôlable via le proto- tous les bus et de les adresser aux sorties physiques de Panoramix. Bien cole Open Sound Control. que la session ne comporte qu’une unique tranche Master, il est possible de produire simultanément des mixages dans plusieurs formats. Architecture À l’instar d’une console traditionnelle, Panoramix se présente sous forme Configuration de tranches. Les tranches sont classées en deux catégories principales : Panoramix est téléchargeable depuis le site du Forum Ircam et disponible tranches d’entrée et bus. pour les environnements MacOS, Windows et Linux. Les tranches d’entrée correspondent aux signaux sources issus de la prise de son. Plusieurs formats de tranches d’entrée sont supportés : « Mono » (typiquement un appoint microphonique ou une piste d’électronique devant être spatialisée), « Multi » (une tranche « Multi » est essentiellement une collection de plusieurs tranches mono), « SMA » (employée pour traiter Fenêtre principale de la station Panoramix. un enregistrement provenant d’un microphone sphérique de type Eigen- 1a) Tranches d’entrée mono ; Mike®) ou Tree (sert à traiter un arbre microphonique principal). 1b) Tranche d’entrée HOA ; 2a) Bus de panning et de réverbération HOA ; 2b) Bus stéréo ; 2c) Bus VBAP ; 3) Options de session (gestion des groupes, import/export de presets, etc.) ; 4) Module de formation de voies (focus) en HOA ; 5) Interface géométrique de positionnement.

74 Les logiciels

Spat~ — Conception et développement : équipe Espaces acoustiques et cognitifs

Spat~, le Spatialisateur de l’Ircam, est un logiciel dédié à la spatialisation • Restitution holophonique du son en temps réel. Conçu sous forme d’une bibliothèque, il permet au Le Spatialisateur a été adapté pour le mode de restitution holopho- musicien ou à l’ingénieur du son de contrôler la spatialisation du son pour nique (WFS) qui permet de reconstruire un champ sonore préservant divers systèmes de restitution. Les applications s’étendent de la reproduc- les qualités de restitution spatiale pour un auditoire étendu. Pour les tion en contexte domestique (casque d’écoute, système stéréophonique ou installations sonores interactives ce mode de restitution permet de 5.1) aux situations de concert (distributions 2D ou 3D de haut-parleurs) ou retrouver les sensations spatiales naturelles au cours de l’exploration aux installations sonores holophoniques et interactives. de la scène sonore.

Caractéristiques techniques et configuration Fonctions principales • Contrôles perceptifs • Concerts et spatialisation du son en temps réel Azimut et élévation, distance, présence de la source, présence de la Le compositeur peut associer à chaque événement sonore de la par- salle, réverbérance précoce et tardive, enveloppement, balances fré- tition un effet de salle ou une donnée de localisation dans l’espace. quentielles. Le Spat~ peut être contrôlé à partir d’un séquenceur d’un système de • Contrôles DSP de bas niveau suivi de partition, ou à partir de processus de contrôle de haut niveau Égalisation, effet Doppler, absorption de l’air, réverbération multi- dédiés à l’écriture musicale (OpenMusic). canale, direction de la source en fonction du dispositif de diffusion • Postproduction sonore (binaural, transaural, stéréo, stéréo 3/2, multicanal 4 à 8 HP, VBAP On peut connecter le Spatialisateur à chaque canal d’une table de pour un agencement tridimensionnel des haut-parleurs, Ambisonics mixage ou d’un environnement de mixage logiciel pour disposer d’un et Higher Order Ambisonics (HOA), Wave Field Synthesis (WFS). contrôle intuitif et global des positions de chaque source et de leur effet de salle associé. Configuration • Simulation et réalité virtuelle Le Spat~ est une bibliothèque d’objets pour l’environnement Max (Ircam/ Sur casque, l’effet d’immersion obtenu avec le Spat~ repose sur l’uti- Opcode/Cycling’74), compatible avec les systèmes d’exploitation MacOS lisation de techniques binaurales, d’autant plus convaincantes si le ou Windows. Cette bibliothèque constitue également le cœur de Spat système est associé à un dispositif de suivi de la position ou de l’orien- Revolution, une station autonome de mixage multicanal et de spatialisation tation de la tête. Les sources sonores gardent ainsi leurs positions spa- des sons, développée en collaboration avec la société Flux ::. Le Spat~ est tiales en fonction des commandes de navigation de l’utilisateur. également disponible sous forme d’un ensemble de plugins développés en • Restitution Ambisonique collaboration avec la société Flux::. De nombreux modules sont dédiés à la génération, au traitement, et au décodage de flux HOA (Higher Order Ambisonics) : encodeurs pour les microphones sphériques EM32 de MH acoustics® et ZM1 de Zylia®, formation de voies synthétisant des microphones virtuels directifs dans le domaine HOA, déformations non linéaires du champ sonore (compression ou dilatation vers les pôles ou l’équateur), etc.

75 UMR 9912 - Sciences et technologies de la musique et du son (STMS) – 2020

Suivi de geste et de formes SuperVP, TRaX et bibliothèques temporelles — — Conception et développement : équipe Analyse et synthèse des sons Conception et développement : équipe Interaction son musique mouvement SuperVP est une bibliothèque de traitement de signal reposant sur un vocodeur de phase perfectionné. Elle permet un grand nombre de transfor- Plusieurs objets Max sont disponibles pour effectuer le suivi de mations du signal avec une très grande qualité sonore (étirement temporel, morphologies temporelles à partir de modèles de Markov. transposition de la fréquence fondamentale et de l’enveloppe spectrale, L’objet voicefollower~ indique en temps réel la progression temporelle débruitage, re-mixage des composantes sinusoïdales, bruitées et transi- d’une interprétation, en comparaison avec un enregistrement audio. Cela toires, dilatation de l’enveloppe spectrale, synthèse croisée généralisée, permet par exemple de synchroniser divers processus sonores ou visuels synthèse croisée en mode source et filtre…). Elle donne accès à un vaste avec un texte préenregistré. Il a été expérimenté avec succès pour le jeu de paramètres qui fournissent un contrôle complet, et à grain fin, du théâtre avec de la voix parlée ou pour des performances avec de la voix résultat d’algorithmes différents. En plus des algorithmes de transforma- chantée. tion sonores, la bibliothèque comprend une collection importante d’algo- L’objet motionfollower~ est similaire au voice follower~ (utilisant une rithmes d’analyse du signal (F0, détection des débuts de notes, spectro- interface proche) mais fonctionne avec des paramètres gestuels, comme gramme, spectrogramme réassigné, enveloppe spectrale…). ceux issus de capteurs. Il permet par exemple d’effectuer un suivi, dans Un des dérivés de SuperVP est la bibliothèque Voice-Forger qui regroupe le cas d’instruments augmentés ou de battue, effectué avec un capteur une grande part des traitements temps réel de SuperVP et permet un accès de mouvement. de haut niveau (cf. projets : Sample Orchestrator, Vivos, Affective Avatars). L’objet gf (pour gesture follower), intégré dans les modules MuBu, permet Les outils TRaX ont été conçus pour que la plupart des paramètres de la des utilisations plus générales de suivi et reconnaissance de formes bibliothèque soient condensés en un jeu de paramètres utilisateur de haut temporelles sur la base d’exemples enregistrés. niveau qui permettent de contrôler l’application de manière intuitive.

Applications Fonctions principales Œuvres musicales et multimédia interactives, musique, danse, contrôle Transformation du signal gestuel de la synthèse sonore. • Dilatation/compression : avec et sans préservation de transitoires, mode spécialisé (préservation de la forme d’onde) pour la transforma- Fonctions principales tion ; • Synchronisation entre gestes et médias numériques ; • Transposition : transposition indépendante de la fréquence fondamen- • Reconnaissance de gestes en continu ; tale et de l’enveloppe spectrale, modification du taux d’échantillon- • Mesures de similarité entre morphologies temporelles nage (ré-échantillonnage) ; continues. • Débruitage : plusieurs motifs de bruit avec interpolation et traitement indépendant du bruit sinusoïdal ; Configuration • Re-mixage transitoires/sinusoïdes/bruit : détection des sinusoïdes, bruits, Logiciel Max, MacOSx, Windows transitoires et contrôle de leurs mixages respectifs ; • Transformation de l’enveloppe : estimation de l’enveloppe spectrale et temporelle et contrôle de leurs mixages respectifs ; • Synthèse croisée : fondée sur le vocodeur de phase ou sur le modèle source-filtre et contrôles variés.

Voice follower~ dans le logiciel Max

76 Les logiciels

Analyse du signal The Snail-Absolute Tuning • Spectrogramme : FFT à court terme et réassignée ; — • Enveloppe spectrale : LPC, « True Envelope » ; Conception et développement : équipe S3AM • F0 : analyse haute précision à faible coût CPU, paramètres par défaut spécialisés pour différents instruments (exemples : violon, flûte, xylo- The Snail-Absolute Tuning est un analyseur fréquentiel de sons qui repose phone, vibraphone…) ; sur une représentation originale à alignement chromatique. • Attaques : algorithme paramétrable pour la détection des attaques de Comparée aux analyseurs standard, cette représentation permet de visua- notes et autres transitoires ; liser simplement les zones actives par activation lumineuse (comme sur un • Voisé/non-voisé : fréquence de coupure voisé/non-voisé ou sinusoïdal/ spectrogramme) et d’organiser la disposition des fréquences par notes sur non-sinusoïdal. une échelle tempérée, accordée sur un diapason.

Caractéristiques techniques et configuration La bibliothèque peut être contrôlée en utilisant différents niveaux d’abstraction. Elle permet l’entrée/sortie du son par fichiers et par mémoire aussi bien que le contrôle des paramètres en temps réel. La bibliothèque est utilisable à partir d’une large gamme d’environnements. Une application en ligne de commande donne accès à toutes les transformations et analyses sonores disponibles. Elle est utilisée par exemple dans les applications AudioSculpt et OpenMusic. Dans Max, des objets permettent la transformation sonore et l’analyse en temps réel et l’application TRaX repose sur ces objets. La bibliothèque est programmée en C++ en utilisant des dispositifs d’optimisation avancés comme les opérations SIMD (SSE2, SSE, AltiVec) des processeurs actuels. La bibliothèque fonctionne sous les sys- tèmes d’exploitation Mac OSX, Windows XP et Linux, sur les processeurs Intel et PowerPC. Son implémentation multithread permet d’exploiter les capacités de calcul des processeurs multi-cœurs et ordinateurs multipro- Applications cesseurs. Visualisation musicale du signal, pédagogie, accordage.

Technologies et partenaires Fonctions principales MakeMusic (SmartMusic), Flux::, Univers Sons, Xtranormal, Voxler, MXP4, • Visualisation : etc. Affichage de l’abaque de The Snail-Absoluteuning T (chromatique) simplifiée pour une lecture musicale du son. • Interface : Paramétrage du moteur d’analyse. Réglages des différents modes de visualisation : phase, spectre ou snail (tuner). Réglage de la région fré- quencielle visible en note MIDI. Réglage du diapason.

Configuration Mac OS X 10.6 ou supérieur, iOS (iPad). Lecture de fichier audio (tout format supporté par la bibliothèque native de Mac OS X) ou entrée du signal via l’entrée audio de l’équipement utilisé.

77 Le Forum Ircam forum.ircam.fr

L’Ircam s’engage au service d’artistes, designers, ingénieurs du son, chercheurs, entrepreneurs, enseignants et étudiants en leur donnant accès à ses technologies les plus récentes et en leur permettant de diffuser leurs propres travaux.

Synthèse sonore, traitement de la voix, composition assistée par ordinateur, interaction temps réel, spatialisation sonore, contrôle gestuel et nouveaux instruments… : des centaines de modules technologiques issus des dernières avancées de la recherche de l’Ircam et des membres sont mis à disposition pour la création musicale, le spectacle vivant, les arts numériques et la production sonore.

La communauté du Forum Ircam connaît depuis quelques années une forte croissance et regroupe près de 20 000 membres dans le monde, principalement professionnels et étudiants.

La plateforme collaborative en ligne Les Ateliers Forum forum.ircam.fr Hors les Murs

Une nouvelle version totalement réécrite de la plateforme Organisés en collaboration avec un réseau international du Forum a été publiée en 2019. En sus des fonctions déjà d’universités, centres de recherche et institutions culturelles, existantes de diffusion de logiciels Ircam et de communication, ces événements accueillis une fois par an par nos partenaires a elle permet aux membres de publier leur propres travaux et offre l’étranger regroupent conférences, workshops et performances une nouvelle éditorialisation du contenu et des échanges sous artistiques (Séoul 2014, São Paulo et Buenos Aires 2015, forme de projets associant différents briques technologiques, Taipei 2016, Santiago du Chili 2017, Shanghai 2019, d’articles, d’événements et de salons de discussion en Montréal 2020-21). regroupant l’ensemble de ces informations en collections thématiques.

Le Forum Ircam facilite ainsi le développement collectif L’offre Forum Ircam de nouvelles idées, favorise la transmission des pratiques, l’archivage et l’indexation des connaissances, et offre une vue L’inscription au Forum Ircam est gratuite pour les usages d’ensemble sur les outils et innovations disponibles dans les expérimentaux d’un grand nombre de logiciels. Les offres domaines de la musique et du son. payantes Premium individuel et Premium institutionnel offrent sous forme d’abonnement annuel un droit d’usage plus large, notamment pour la production professionnelle et l’enseignement, tout en proposant un accès exclusif à Les Ateliers du Forum Ircam un ensemble de logiciels et à des réductions sur des formations et sur des collections de logiciels commerciaux. Organisés une fois par an à l’Ircam en présence de l’ensemble des équipes de recherche, les Ateliers Forum constituent le principal moment de rencontre annuel de la communauté Forum : trois jours de conférences, workshops, démonstrations et de partage autour de la musique et du son, dans un esprit pluridisciplinaire. L’édition 2021 fait l’objet d’une nouvelle organisation thématique avec une dimension en ligne renforcée pour répondre aux impératifs sanitaires et pour étendre la diffusion internationale des rencontres. Contact : +33 (0)1 44 78 49 62 | [email protected] Les équipes au 2 novembre 2020

■ UMR 9912 – Sciences et technologies de la musique et du son stms-lab.fr

Directrice (CNRS), Corentin Guichaoua (CNRS), Fanny Gribenski (CNRS), Nadia Guerouaou, Brigitte d’Andréa-Novel (SU) Karim Haddad, Olivier Houix, Jean-Philippe Lambert, Wanyu Liu (CNRS), Marco Liuni, Mikhail Malt, Benjamin Matuszewski, Rémi Mignot, Jérôme Nika, Mar- Directeur adjoint kus Noisternig, Nicolas Obin (SU), David Poirier-Quinot, Justin Ratel, David Roze Jean-Louis Giavitto (CNRS) (CNRS), Robert Piéchaud, Diemo Schwarz, Patrick Susini, Isabelle Viaud-Delmon (CNRS), Daniel Wolff Responsables d’équipe Gérard Assayag [Représentations musicales], Frédérique Bevilacqua [Interac- Chercheurs associés et collaborateurs extérieurs tions son musique mouvement], Nicolas Donin [Analyse des pratiques musicales], Moreno Andreatta (université de Strasbourg), Mondher Ayari (université de Thomas Hélie (CNRS) [Systèmes et signaux sonores : audio/acoustique instru- Strasbourg), Georges Bloch (CNSMDP), Alain Bonardi (université Paris 8) ments], Nicolas Misdariis [Perception et Design sonores], Axel Roebel [Analyse et synthèse des sons], Olivier Warusfel [Espaces acoustiques et cognitifs] Technicien Arnaud Recher (CNRS) Administration de l’UMR Sylvie Benoit, Viktoriya Uscumlic, Anne-Marie Vaudeville (CNRS) Doctorants Théis Bazin, Daniel Bedoya, Adrien Bitton, Frederick Bous, Baptiste Bouvier, Daniel Documentaliste Cabanzo, Antoine Caillon, Pierre Carré, Tristan Carsault, Ninon Devis, Constance Aurore Baudin Douwes, Jean-François Ducher, Franck Elizabeth, Mireille Fares, José Miguel Fernández, Rafael Adelino Ferro Mendes, Hadrien Foroughmand, Martin Fouilleul, Chercheurs et ingénieurs Valérian Fraisse, Marta Gospodarek, Lise La Pietra, Paul Lascabettes, Antoine Carlos Agon (SU), Pablo Arias Sarah, Jean-Julien Aucouturier (CNRS), Élie Laurent Lavault, Clément Le Moine Veillon, Vincent Martin, Pierre Massé, Rémy Muller, Benaroya, Joachim Borg, Riccardo Borghesi, Henri Boutin (SU), Clément Cannone Judy Najnudel, Victor Paredes, Iseline Peyre, Waradon Phokhinanan, Matthieu (CNRS), Thibaut Carpentier (CNRS), René Caussé (émérite), Axel Chemla-Romeu Prang, Alessandro Ratoci, Claire Richards, Gonzalo Romero, Victor Rosi, Yann Santos, Elaine Chew (CNRS), Frédéric Cornu, Philippe Esling (SU), Laurent Theytaut, Alexis Thibault, Marion Voillot, Victor Wetzel, Marc Wijnand, Franck Feneyrou (CNRS), François-Xavier Féron (CNRS), Emmanuel Fléty, Lawrence Fyfe Zagala

■ Département Innovation et Moyens de la recherche

Directeur Pôle Web Hugues Vinet Responsable : Guillaume Pellerin Martin Desrumaux Administration, coordination Sylvie Benoit, Louise Enjalbert Service informatique Responsable : Raphaël Sallé de Chou Valorisation industrielle et communautaire Benjamin Boudoir, Rémi Desmonet, Olivier Labat, Antoine Lorreyte, Pierre Guillot, Harris Matthew Ghislaine Montagne

Forum Ircam Grégory Beller, Liz Gorsen, Karim Haddad, Stéphanie Leroy, Paola Palumbo

Nous écrire : [email protected] stms-lab.fr