Authoring interactive media : a logical & temporal approach Jean-Michael Celerier To cite this version: Jean-Michael Celerier. Authoring interactive media : a logical & temporal approach. Computation and Language [cs.CL]. Université de Bordeaux, 2018. English. NNT : 2018BORD0037. tel-01947309 HAL Id: tel-01947309 https://tel.archives-ouvertes.fr/tel-01947309 Submitted on 6 Dec 2018 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. THÈSE DE DOCTORAT DE l’UNIVERSITÉ DE BORDEAUX École doctorale Mathématiques et Informatique Présentée par Jean-Michaël CELERIER Pour obtenir le grade de DOCTEUR de l’UNIVERSITÉ DE BORDEAUX Spécialité Informatique Sujet de la thèse : Une approche logico-temporelle pour la création de médias interactifs soutenue le 29 mars 2018 devant le jury composé de : Mme. Nadine Couture Présidente M. Jean Bresson Rapporteur M. Stéphane Natkin Rapporteur Mme. Myriam Desainte-Catherine Directrice de thèse M. Jean-Michel Couturier Examinateur M. Miller Puckette Examinateur Résumé La question de la conception de médias interactifs s’est posée dès l’apparition d’ordinateurs ayant des capacités audio-visuelles. Un thème récurrent est la question de la spécification tem- porelle d’objets multimédia interactifs : comment peut-on créer des présentations multimédia dont le déroulé prend en compte des événements extérieurs au système. Ce problème rejoint un autre champ d’application, qui est celui de la musique et plus spéci- fiquement des partitions interactives : des pièces musicales dont l’interprétation pourra varier dans le temps en fonction d’indications données par la partition. Dans les deux cas, il est néces- saire de spécifier les médias et données musicales qui seront orchestrées par le système. C’est le sujet de la première partie de cette thèse, qui présente un modèle adapté pour la conception d’applications multimédia permettant de répondre à des problématiques d’accès réparti et de contrôle à distance, ainsi que de documentation. Une fois ce modèle défini, on construit en s’inspirant des systèmes à flots de donnée courants dans les environnements adaptés à la musique en temps réel un environnement de calcul permet- tant de contrôler les paramètres des applications définies précédemment, ainsi que de générer des entrées et sorties sous forme audio-visuelle. En particulier, une notion d’environnement per- manent dans ce modèle de données est introduite. Elle simplifie certains cas d’usages courants en informatique musicale, et améliore les performances par rapport à une solution uniquement basée sur de la communication entre nœuds explicites du système. Enfin, une structure de graphe temporel est introduite : elle permet de définir les parties du graphe de données qui vont être actives à un instant donné d’une partition interactive. En particulier, les connections entre objets du graphe de données sont étudiées dans le cadre de déroulements synchrones et différés. Un langage d’édition visuel est introduit pour l’écriture de scénarios dans un modèle graphique réunissant les éléments introduits précédemment. La structure temporelle est par la suite étudiée sous l’axe de la répartition. On montre notamment qu’il est possible d’acquérir un pouvoir expressif supplémentaire en supposant une exécution concurrente de certains objets de la structure temporelle. Enfin, on présente comment le système permet de recréer nombre de systèmes musicaux existants : séquenceurs, live-loopers, et patchers, ainsi que les nouveaux types de comportements multimédias rendus possibles. i Abstract Interactive media design is a field which has been researched as soon as computers started showing audio-visual capabilities. A common research theme is the temporal specification of interactive media objects : how is it possible to create multimedia presentations whose schedule takes into account events external to the system. This problem is shared with another research field, which is interactive music and more precisely interactive scores. That is, musical works whose performance will evolve in time according to a given score. In both cases, it is necessary to specify the medias and musical data orchestrated by the system : this is the subject of the first part of this thesis, which presents a model tailored for the design of multimedia applications. This model allows to simplify distributed access and remote control questions, and solves documentation-related problems. Once this model has been defined, we construct by inspiration with well-known data-flow systems used in music programming, a computation structure able to control and orchestrate the applications defined previously, as well as handling audio-visual data input and output. Specifically, a notion of permanent environment is introduced in the data-flow model :it simplifies multiple use cases common when authoring interactive media and music, and improves performance when comparing to a purely node-based approach. Finally, a temporal tree structure is presented : it allows to score parts of the data graph in time. Especially, nodes of the data graph are studied in the context of both synchronous and delayed cases. A visual edition language is introduced to allow for authoring of interactive scores in a graphical model which unites the previously introduced elements. The temporal structure is then studied from the distribution point of view : we show in particular that it is possible to earn an additional expressive power by supposing a concurrent execution of specific objects of the temporal structure. Finally, we expose how the system is able to recreate multiple existing media systems : sequencers, live-loopers, patchers, as well as new multimedia behaviours. ii Remerciements Cette thèse n’aurait été possible sans le concours et la dédication des personnes m’ayant entouré durant son déroulement. Je tiens à remercier avant tout mes directeurs Myriam et Jean-Michel, qui m’ont soutenu de tous leurs moyens pour l’avancée de cette recherche, et dans les développements que j’ai voulu entreprendre ; la création de ce logiciel m’a permis de réaliser des idées qui me tenaient à cœur depuis fort longtemps, et de m’intégrer à la fois aux mondes de la recherche en informatique, de la création artistique, et du développement. Merci bien sûr à Blue Yeti et aux amis du SCRIME qui m’ont accueilli, épaulé, nourri et même parfois logé ! Magnolya, Annick, Pierre, Thibaud, Gyorgy, Pierrick, Laurent, Julia, Raphaël, vous êtes super. Merci à vous tous, stagiaires et groupes de projets s’étant plongés dans le monde ténébreux du développement en C++ à mes côtés : Lucile, Maxime, Éric, Nicolas, Kinda et tant d’autres, vous avez été particulièrement courageux. Ma chère famille n’a eu de cesse de se démener pour m’offrir un environnement amène à la concentration et au travail, sans jamais remettre en cause mes choix : papa, maman, Raphaëlle, je vous aime fort. Mes amis, mes proches, Julien, Himito, Bazire, Nicolas, Pierre, Émilien, Pierre-Marie, Éric, Simon, Quentin, et tous ceux que j’oublie : merci pour votre soutien, votre aide, votre patience, mais aussi vos relectures et vos hébergements de dernière minute en cas de conférence ! Et vous ! La fine équipe d’OSSIA et des projets alentours, Pascal, Théo, Julien, Renaud, Antoine, Mathieu, François, Clément, Jaime. Travailler avec vous a été un plaisir du début à la 10 fin, et certainement une des expériences les plus enrichissantes que j’ai pu avoir – 10 would do again. Enfin, Akané, tu as été là chaque jour de cette thèse, m’as supporté quand je me couchais tard le soir et levais tôt le matin, m’as encouragé dans les moments les plus durs : peu auraient eu ce courage. Merci pour chaque instant avec toi, qui m’a permis d’avancer et de repartir quand ça n’allait pas. Je t’aime. iii Résumé français Cette thèse CIFRE a pour ambition de répondre à des questions courantes lors de la création de médias interactifs, principalement dans un contexte artistique et musical, mais sans restriction à un domaine particulier. La présentation de cette thèse est déroulée en trois parties : • La première partie introduit les problématiques, présente l’état de l’art et les objectifs de recherche en se comparant d’une part à des modèles existants et d’autre part en prenant en compte les notions issues de la recherche en créativité. On s’intéresse notamment aux méthodes de conception de logiciels auteur telles que la créativité de ses utilisateurs soit maximisée, en se basant sur les travaux de Eaglestone [1], Turner [2] et Resnick [3]. • La seconde partie présente le modèle proposé pour l’exécution des partitions interactives, et détaille l’implémentation du logiciel auteur. • La troisième partie présente les applications de ce modèle à des cas d’usage réels. Une des problématiques principales de ce travail est celle du lien entre l’écoulement du temps et l’exécution de programmes : comment peut-on modéliser efficacement un programme dont le comportement évolue au cours du temps, en fonction d’interactions extérieures prévues par l’auteur de ce même programme. Pour y répondre, on