These` de Doctorat de l'Universite´ Pierre et Marie Curie Ecole´ Doctorale ED3C Specialit´ e´ Sciences cognitives Pr´esent´eeet soutenue par Eric´ Boyer Pour obtenir le grade de Docteur de l'Universite´ Pierre et Marie Curie Continuous Auditory Feedback for Sensorimotor Learning Th`esedirig´eepar Patrick Susini et Sylvain Hanneton et encadr´eepar Fr´ed´eric Bevilacqua pr´epar´ee`al'Ircam - STMS CNRS UPMC et au LPP UMR8242, Universit´eParis Descartes soutenue le 11 mai 2015 devant un jury compos´ede : Patrick SUSINI Ircam Directeur Sylvain HANNETON Universit´eParis Descartes Directeur Fr´ed´ericBEVILACQUA Ircam Encadrant Cathy CRAIG Universit´eQueen's de Belfast Rapporteur Roberto BRESIN KTH Stockholm Rapporteur Vincent HAYWARD UPMC Examinateur Bruno GIORDANO Universit´ede Glasgow Examinateur Olivier GAPENNE Universit´ede Compi`egne Examinateur Abstract Our sensorimotor system has developed a strong relationship with the auditory space surrounding us. We have implicitly learned to integrate the sonic outcomes of our actions and use them everyday as auditory feedback. The development of motion sensing and audio technologies allows for designing auditory feedback, by creating specific interaction between sound and motion. In this PhD research, we focus on continuous movement sonification, the generation of synchronous sound feedback controlled by movement or action features. Auditory feedback in the action-perception loop has received considerably less attention compared to visual feedback. Moreover, the learning mechanisms occurring in interactive systems using sound feedback, such as digital musical interfaces, have been rarely studied. In this thesis, we evaluate the contribution of continuous auditory feedback to sensorimotor control and learning in interactive systems. To fulfill this aim, we consider various sonic interaction setups (visual/non- visual, tangible/virtual), that we use in five experimental studies, targeting the questions of how the feedback can be integrated and which gesture-sound parameters are relevant to learning. First, considering a pointing task, we observe that the auditory system integrates dynamic auditory cues for online motor control. Auditory representations of space and of the scene can be built from audio features and transformed into motor commands. Second, during the exploration of a virtual object solely through sound, we observe that the emerging auditory-motor representations can also shape exploratory movements and allow for tactile to auditory sensory substitution. Third, we measure that continuous auditory feedback in a tracking task helps significantly the performance. Both error and task sonification improve tracking but have different effects on learning. The sonification of the user's movement can increase the energy of the produced motion and prevent feedback dependency. We also tested a system enabling the sonification of eye tracking movements. The auditory feedback had important effects on eye movements control, both positively and negatively across the participants, during both guided and free pursuit. Finally, we present the concept of sound-oriented task, where the target is expressed as acoustic features to match. We show that users can achieve this auditory task with various responsiveness to the system, and that motor adaptation can be driven by interactive audio cues only. This context illustrates the potential of placing the sound at the core of the interaction task for integration in the sensorimotor loop. Globally, our results show the benefits of continuous movement sonification for motor learning, specifically on gestural features, performance and energy. We can derive design principles from our studies, such as the use of `ecological' gesture-sound mapping. In particular, we propose to consider a `moving while listening' approach where the user learns to associate sound features with corresponding movement features. Among the potential applications, we believe this approach can be successfully applied in physical rehabilitation and neurodegenerative diseases. iii R´esum´e Notre syst`emesensorimoteur a d´evelopp´eune relation particuli`ereavec son environnement sonore et utilise constamment les cons´equencesacoustiques de nos actions, que nous percevons comme un retour sonore. Le d´eveloppement des syst`emesde captation gestuelle et des technologies audio permet de manipuler ce retour sonore, notamment en cr´eant une interaction entre le son et le geste, dont le couplage peut alors s’effectuer de nombreuses mani`eres.Dans ce travail de doctorat, nous proposons d'´etudierla sonification gestuelle continue, c’est-`a-direla g´en´erationd'un retour sonore synchrone durant le geste, dont les param`etresacoustiques d´ependent du mouvement produit ou de l'action. La grande majorit´edes ´etudessur la boucle perception-action s'est focalis´eesur le flux visuel et peu sur l'utilisation d'un retour sonore. En outre, les m´ecanismes d'apprentissage mis en œuvre dans les syst`emesinteractifs sonores sont rarement ´etudi´es.Le travail que nous pr´esentons a pour but d'´evaluer la contribution d'un retour sonore continu `al'apprentissage et au contr^olemoteur dans des syst`emesinteractifs. Dans cet objectif, nous consid´eronsplusieurs situations interactives sonores (avec ou sans vision, tangible/virtuel), que nous utilisons lors de cinq ´etudesexp´erimentales. Les questions concernent l'identification des m´ecanismesd'int´egrationdu retour sonore et des param`etresgeste-son pertinents pour l'apprentissage. Premi`erement, nous observons lors d'une t^ache de pointage que le syst`emeauditif int`egreen continu des indices acoustiques dynamiques pour le contr^olemoteur. Des repr´esentations sonores de l'espace peuvent ^etreconstruites `apartir de ces informations et transform´eesen commandes motrices permettant de corriger le mouvement. Deuxi`emement, dans le cas de l'exploration d'un objet virtuel sonore, nous observons que les repr´esentations audio-motrices ´emergentes peuvent ´egalement influencer des mouvements exploratoires et permettre des cas de substitution sensorielle, notamment un transfert auditif vers des sensations tactiles et proprioceptives. Troisi`emement, nous montrons dans le cas d'une t^ache de suivi visuo-manuel qu'un retour sonore continu peut am´eliorersignificativement la performance. Les sonifications apportant un retour relatif `al'erreur de suivi (distance) ainsi qu’`ala t^ache (comportement de la cible) permettent d'am´eliorerla qualit´edu suivi, mais montrent des effets distincts sur l'apprentissage. Nous montrons ´egalement que la sonification du mouvement de l'utilisateur peut augmenter l'´energiedu geste produit et contribue `aun apprentissage robuste, non d´ependant du retour sonore additionnel. Nous proposons ´egalement un syst`emepermettant la sonification en temps-r´eeldes mouvements de poursuite oculaire. La sonification de tels mouvements montre d'importants effets, sur le contr^ole oculomoteur (qu'il soit libre ou en suivi guid´e),`ala fois positifs et n´egatifsselon les participants. Enfin, nous pr´esentons le concept de \t^ache sonore", dans lequel la cible est pr´esent´eeet s'exprime sous forme de param`etressonores `areproduire. L'exp´eriencemontre que les utilisateurs apprennent `aeffectuer cette t^ache, avec toutefois des disparit´esdans leurs aptitudes. Nous observons v ´egalement qu'une adaptation motrice peut ^etreinduite par des changements dans le mapping geste- son, modifiant l'objectif sonore `aatteindre. Ce contexte met en ´evidencele potentiel de l'information sonore replac´eeau cœur de l'interaction pour l'int´egrationdans la boucle sensorimotrice. Dans leur ensemble, nos r´esultatsmontrent les effets b´en´efiquesde la sonification du mouvement sur l'apprentissage moteur, notamment sur la performance et la dynamique du geste. Il est possible de tirer de nos ´etudesdes principes de design de l'interaction, comme par exemple l'utilisation de mappings geste-son `´ecologiques'.Nous proposons particuli`erement de consid´ererune approche de \l'´ecoutedu mouvement", dans laquelle l'utilisateur apprend `aassocier des indices audio avec les caract´eristiquesintrins`equesde ses mouvements. Ce type d'interaction permet d'envisager diverses applications dans des cas d'apprentissage moteur. Il semble en effet que cette approche puisse ^etre appliqu´eeavec succ`es`ala r´e´educationphysique de l'h´emipar´esieou de maladies neurod´eg´en´eratives. vi Contents Abstract iii R´esum´e v 1 Introduction 1 1.1 General introduction . 1 1.2 Research context . 2 1.2.1 Gesture-sound interactive systems . 2 1.2.2 Why auditory feedback? . 3 1.3 Specific aims of the work . 4 1.4 Experimental choices . 5 1.4.1 Materials and methods . 5 1.4.2 Sound synthesis . 6 1.4.3 Proposed concepts . 7 1.5 Structure of the manuscript . 8 1.6 Contributions . 9 2 Basic concepts and literature results overview 11 2.1 Principles and definitions about sensorimotor learning . 11 2.1.1 Sensorimotor and cognitive levels . 12 2.1.2 Sensory feedback . 12 2.1.3 Sensorimotor learning and integration . 14 2.1.4 Main theories about action-perception coupling . 18 2.2 State of the Art: auditory feedback of motion . 21 2.2.1 Auditory feedback and sonification . 21 2.2.2 Sound-movement relationship . 23 2.2.3 Learning (with) auditory feedback . 26 2.3 Connected fields and applications . 30 2.3.1 Sonic Interaction Design . 31 2.3.2 Music performance . 32 2.3.3 Auditory feedback for sport and physical exercise . 39 2.3.4 Auditory feedback for rehabilitation . 41 2.4 General comments . 49 3 ARTICLE j From ear to hand: the role of the auditory-motor loop in pointing to an auditory source 51 3.1 Introduction . 52 vii CONTENTS 3.2 Materials and methods . 53 3.2.1 Subjects . 53 3.2.2 Experimental setup . 53 3.2.3 Experimental procedure . 54 3.3 Data analysis . 55 3.3.1 Level of performance . 55 3.3.2 Movement analysis . 55 3.4 Results . 57 3.4.1 Statistical analysis . 57 3.4.2 Level of performance . 57 3.4.3 Global kinematics . 58 3.4.4 Movement dynamics and segmentation . 59 3.4.5 Head movement analysis . 60 3.5 Discussion and conclusion . 61 4 Touching sounds: gestural interaction with a virtual sonified object 67 4.1 The sensory substitution paradigm .