Designing Expressive Interaction Techniques for Novices Inspired by Expert Activities : the Case of Musical Practice Emilien Ghomi
Total Page:16
File Type:pdf, Size:1020Kb
Designing expressive interaction techniques for novices inspired by expert activities : the case of musical practice Emilien Ghomi To cite this version: Emilien Ghomi. Designing expressive interaction techniques for novices inspired by expert activities : the case of musical practice. Other [cs.OH]. Université Paris Sud - Paris XI, 2012. English. NNT : 2012PA112400. tel-00839850 HAL Id: tel-00839850 https://tel.archives-ouvertes.fr/tel-00839850 Submitted on 1 Jul 2013 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. in|situ||[ UNIVERSITÉPARIS-SUD ÉCOLE DOCTORALE : Informatique Laboratoire de Recherche en Informatique Équipe in-situ DISCIPLINE : Informatique (Interaction Homme-Machine) THÈSEDEDOCTORAT Soutenue le 17/12/2012 par ÉMILIENGHOMI DESIGNINGEXPRESSIVEINTERACTIONTECHNIQUESFORNOVICES INSPIREDBYEXPERTACTIVITIES: THECASEOFMUSICALPRACTICE Co-directeurs de thèse : Michel Beaudouin-Lafon Prof. Univ. Paris-Sud, LRI-InSitu Stéphane Huot MdC Univ. Paris-Sud, LRI-InSitu Composition du jury : Président du jury : Christian Jacquemin Prof. Univ. Paris-Sud, LIMSI-AMI Rapporteurs : Carlos Agon Prof. Univ. Pierre et Marie Curie, IRCAM Marcelo Wanderley Associate Prof. McGill Univ., Schulich Sch. of Music-CIRMMT Examinateur : Yannick Prié Prof. Univ. de Nantes, LINA-KOD Designing expressive interaction techniques for novices inspired by expert activities: The case of musical practice c Émilien Ghomi supervisors: Michel Beaudouin-Lafon, Stéphane Huot Paris, France, le 17 décembre 2012. — À Beisha, l’ambre // À toutes mes sources d’inspiration — REMERCIEMENTS Je tiens tout d’abord à remercier mes directeurs de thèse, Michel et Stéphane, pour m’avoir permis de travailler sur cette thématique, et d’en explorer la diversité de manière personnelle. Merci pour vos conseils, vos critiques et votre exigence qui m’ont maintenu dans une bonne direction. Merci à ceux avec qui j’ai collaboré : Guillaume, Hugues, les Olivier, Vincent et Wendy. La diversité de ce travail dépend grandement de la richesse de vos points de vue, de votre écoute et de votre disponi- bilité. Merci à toutes les belles personnalités, devenues des amis, que j’ai pu rencontrer au labo et avec qui nous avons animé d’interminables discussions autour de la recherche et de tout le reste : Clément, Ilaria, Jérémie, Julie, Mathieu et Tony. Merci à mon parrain et à ma marraine de recherche – Aurélien et Anne – qui m’ont grandement éveillé au domaine et ont débroussaillé, alimenté ou interdit les voies dans lesquelles je voulais m’engager. Merci à ma famille, aux amis et au frère qui ont partagé mon toit pendant cette période et qui m’ont supporté, dans tous les sens du terme : Gaëtan, Ju et Emilie, Manue et Maud. Merci aux amis qui m’ont suivi de près ou de loin dans ce travail et ont été des repères dont je n’aurais pu me passer : Cédric, Dun, Elise, Fanny, Florent, FX et Laura, Léa, Lise et Normy. Merci à mes à-côtés, qui m’ont maintenu attentif à l’extérieur et ont toujours été les moteurs de ma motivation pour créer des ponts entre les disciplines. Sur les planches du théâtre. Sur la scène musicale. Dans l’événementiel en Suisse ou en France. Dans l’entreprenariat. Finalement tout est lié ! vi Abstract As interactive systems are now used to perform a variety of complex tasks, users need systems that are at the same time expressive, efficient and usable. Although simple interactive systems can be easily usable, interaction designers often consider that only expert practitioners can benefit from the expressiveness of more complex systems. Our approach, inspired by studies in phenomenology and psychology, underscores that non-experts have sizeable knowledge and advanced skills related to various expert activities having a social dimension –such as artistic activities–, which they gain implicitly through their engagement as perceivers. For example, we identify various music-related skills mastered by non-musicians, which they gain when listening to music or attending performances. We have two main arguments. First, interaction designers can reuse such implicit knowledge and skills to design interaction techniques that are both expressive and usable by novice users. Second, as expert artifacts and expert learning methods have evolved over time and have shown efficient to overcome the complexity of expert activities, they can be used as a source of inspiration to make expressive systems more easily usable by novice users. We provide a design framework for studying the usability and expressiveness of interaction techniques as two new aspects of the user experience, and explore this framework with three projects. In the first project we study the use of rhythmic patterns as an input method, and show that novice users are able to reproduce and memorize large vocabularies of patterns. This is made possible by the natural abilities of non-musicians to perceive, reproduce and make sense of rhythmic structures. We define a method to create expressive vocabularies of patterns, and show that novice users are able to efficiently use them as command triggers. In the second project, we study the design and learning of chording gestures on multitouch screens. We introduce design guidelines to create expressive chord vocabularies taking the me- chanical constraints and the degrees of freedom of the human hand into account. We evaluate the usability of such gestures in an experiment and we present an adapted learning method inspired by the teaching of chords in music. We show that novice users are able to reproduce and memorize our vocabularies of chording gestures, while our learning method can improve long-term memorization. The final project focuses on music software used for live performances and proposes a frame- work for designing “instrumental” software allowing expert musical playing and having its elementary functionalities accessible to novices, as it is the case with acoustic instruments (for example, one can easily play a few chords on a piano without practice). We define a design framework inspired by a functional decomposition of acoustic instruments and present an adapted software architecture, both aiming to ease the design of such software and to make it match with instrument-making. These projects show that, in these cases: (i) the implicit knowledge novices have about some expert activities can be reused for interaction; (ii) expert learning methods can inspire ways to make expressive systems more usable novices; (iii) taking expert artifacts as a source of inspiration can help creating usable and expressive interactive systems. In this dissertation, we propose the study of usability as an alternative to the focus on imme- diacy that characterizes current commercial interactive systems. We also propose methods to benefit from the richness of expert activities and from the implicit knowledge of non-experts to design interactive systems that are at the same time expressive and usable by novice users. vii viii Résumé Les systèmes interactifs étant utilisés pour réaliser des tâches toujours plus complexes et variées, les utilisateurs ont besoin de systèmes qui soient à la fois expressifs, efficaces et utilis- ables. Si des systèmes simples peuvent être instantanément utilisables, l’expressivité accessible avec des systèmes complexes est souvent considérée comme réservée aux experts. Cependant, notre approche, inspirée par la recherche en phénoménologie et en psychologie, souligne que certaines activités expertes ayant une portée sociale, comme les activités artistiques, permettent aussi aux non-experts d’acquérir des compétences et une connaissance considérables de façon implicite. Dans ce manuscrit, nous évoquerons notamment la connaissance et les compétences avancées développées par les non-musiciens lors de l’écoute de la musique et de l’observation du jeu instrumental. Nous défendons deux idées. Premièrement, les concepteurs de systèmes interactifs peu- vent profiter de ces compétences et de cette connaissance implicites pour créer des systèmes expressifs qui soient utilisables. Deuxièmement, les méthodes d’apprentissage expertes et les outils experts, qui ont été per- fectionnés à travers le temps et ont fait leurs preuves dans des situations complexes, peuvent servir de sources d’inspiration pour améliorer l’utilisabilité des systèmes complexes pour les utilisateurs novices. Nous proposons un cadre de conception pour étudier l’utilisabilité et l’expressivité des tech- niques d’interaction, comme deux nouvelles mesures de la qualité de l’interaction, et présen- tons les trois projets de cette thèse. Dans le premier, nous étudions l’utilisation de motifs rythmiques pour l’interaction, et nous montrons que des utilisateurs novices sont capables de reproduire et de mémoriser efficace- ment de grands vocabulaires de motifs rythmiques. Une telle interaction tire parti des capac- ités naturelles des non-musiciens pour percevoir et reproduire des structures rythmiques. Nous définissons des règles pour créer des motifs rythmiques adaptés à l’interaction, et montrons qu’ils peuvent être utilisés efficacement