ECOLE DOCTORALE COGNITON, LANGAGE, EDUCATION (356) LABORATOIRE PAROLE ET LANGAGE THÈSE en vue de l’obtention du grade de DOCTEUR de L’UNIVERSITÉ D’AIX-MARSEILLE Discipline : Sciences du Langage Présentée par ANA ZAPPA le 10 décembre 2020 EMBODIED SEMANTICS PUT TO THE TEST ELECTROPHYSIOLOGICAL EVIDENCE FROM VIRTUAL REALITY AND CLASSICAL ENVIRONMENTS membres du jury: Daniel MESTRE, Directeur de recherche, CNRS, président Yann COELLO, Professeur, Université de Lille, rapporteur Véronique BOULENGER, Chargée de rercherche, CNRS, examinatrice Alice FOUCART, Professeure, Universidad Nebrija, rapportrice Cheryl FRENCK-MESTRE, Directrice de recherche, CNRS, directrice de thèse Ana Zappa Embodied semantics put to the test ii Abstract While neuroimaging and behavioral studies have shown that sensory-motor systems are recruited during semantic processing, how and when this occurs has not yet been clearly established. Our purpose was to observe the different contexts in which motor activation can contribute to language comprehension and learning, using interactive and ecologically valid environments. In our first study, novice learners acquired a reduced second-language (L2) lexicon through interactive computer-games. Behavioral and electroencephalography (EEG) results indexed rapid L2 word learning. Interestingly, even-related potential (ERP) results revealed a gender congruency effect such that only words that had the same grammatical gender across participants’ L1 and L2 gave rise to an N400 effect for match vs mismatch auditory word and image pairs, indicating that these words were better encoded. In a sec- ond study, we used an action-sentence compatibility effect (ACE) paradigm to evaluate how motor preparation affects language processing. ERP results showed greater N400 amplitude for congruent compared to incongruent action sentence trials, suggesting that compatibility between motor and language processes produced interference. In studies 3 and 4, we com- bined virtual reality (VR) and EEG to investigate interactions between language processing and motor activation. In the first of these studies, participants heard action verbs intheir native language and performed varied actions on a virtual object in a Cave automatic virtual environment (CAVE) during a Go-Nogo task. Time-frequency analysis showed motor activa- tion for both Go and Nogo conditions during action verb processing and prior to movement proper. In addition, greater motor activation for Go versus Nogo trials. Our final (projected) study is a registered report that aims to determine the neural correlates of embodied L2 learning by having participants encode auditory action verbs using an interactive virtual re- ality head-mounted display system and specific real-life actions on a virtual object. Using behavioral and EEG measures in a pre-post training design, this condition will be compared to a control condition in which participants will simply point to the virtual object. The body of the work reported in this dissertation represents a significant step towards better understanding the subtle relationship between motor and semantic processes. By mak- ing use of new technologies that allow for manipulating and controlling the environment, our work opens up fresh perspectives for taking into account the contextual nature of how we learn and understand language. iii Ana Zappa Embodied semantics put to the test iv Résumé Bien que la neuro-imagerie et les études comportementales aient montré un recrute- ment des systèmes sensorimoteurs lors du traitement sémantique, le rôle et le décours tem- porel de ces activations doivent encore être précisés. Notre objectif était donc d’observer les différents contextes dans lesquels l’activation motrice peut contribuer à la compréhension et à l’apprentissage du langage, en utilisant des environnements interactifs et écologiques. Dans une première étude, des apprenants novices ont acquis un vocabulaire restreint dans une deuxième langue (L2) au travers de jeux interactifs sur ordinateur. Les résultats com- portementaux et en électroencéphalographie (EEG) ont indiqué un apprentissage rapide de mots en L2. Par contre, les potentiels évoqués ont révélé un effet de congruence de genre grammatical : seuls les mots ayant le même genre dans la première et la deuxième langue ont produit un effet N400 (réponse à la congruence/incongruence de paires de mots auditifs et d’images), indiquant que ceux-ci ont été mieux intégrés. Dans une deuxième étude, nous avons utilisé un paradigme de compatibilité entre phrases d’action et actions réalisées par le participant (Action-sentence compatibility effect, ou ACE) pour mesurer les effets dela préparation motrice sur le traitement du langage. Les résultats en EEG ont montré une plus grande amplitude de la N400 pour des essais congruents par rapport aux essais incongruents, ce qui suggère une interférence provoquée par la compatibilité entre les processus moteurs et langagiers. Dans les études 3 et 4, nous avons combiné la réalité virtuelle (RV) et l’EEG pour analyser des interactions entre le traitement du langage et l’activation motrice. Dans l’étude 3, les participants ont entendu des verbes d’action dans leur langue maternelle et ont effectué diverses actions sur un objet virtuel dans un environnement virtuel hautement immersif, le Cave automatic virtual environment (CAVE), pendant une tâche de Go-Nogo. Des analyses en temps-fréquence du signal EEG ont montré des activations motrices dans les deux conditions, avant tout mouvement physique. Cette activation était plus importante pour les essais « Go » que pour les essais « Nogo ». Notre dernière étude (prévue) est un registered report qui vise à déterminer les corrélats neuronaux de l’apprentissage incarné d’une deuxième langue. Les participants encoderont des verbes d’action auditifs à l’aide d’un casque de réalité virtuelle interactive en effectuant des actions spécifiques pour manipuler un objet virtuel. Dans un design pré-/post-entraînement, l’apprentissage sera évalué avec des mesures EEG et comportementales et comparé à l’apprentissage dans une condition où les participants pointent vers l’objet. Le travail présenté dans cette thèse constitue un pas important vers une meilleure compréhension de la relation subtile entre les processus moteurs et sémantiques. En tirant profit des nouvelles technologies qui permettent de manipuler et contrôler l’environnement, v Ana Zappa Embodied semantics put to the test notre travail ouvre de nouvelles perspectives pour prendre en compte la nature contextuelle de notre apprentissage et de notre compréhension du langage. vi Dedication Pra Juju, claro. vii Ana Zappa Embodied semantics put to the test viii Acknowledgements Allocation de Bourse de thèse MENRT (AMU, Ecole Doctorale 356) Research funding from the ILCB Thank you, first and foremost, Cheryl… I could not have hoped for a better mentor. You embody the most admirable aspects of research and your passion for it is contagious. Thank you for your patience, your fastidiousness, your curiosity, your extremely hard work and your humanity. You must know how much I appreciate your having believed in me but if there’s one place to put it down in words (or attempt to), it’s here. Je remercie Yann Coello et Alice Foucart d’avoir accepté d’être rapporteurs de ma thèse et Véronique Boulenger et Daniel Mestre d’avoir accepté de participer à mon jury. Merci à l’ensemble des membres du LPL pour vos enseignements, pour votre “input”, pour vos encouragements, pour les collaborations et pour cette belle énergie dans le jardin à midi. Merci Stéphanie, Nadera, Cathy, Nadia, Antonio, Sebastien et Cyril pour votre travail con- stant et pour toute votre aide au quotidien. Je remercie tous mes participants, qui ont rendu cette aventure encore plus enrichissante. Agradeço aos meus participantes, que tanto enriqueceram este meu trabalho. Dee, you are the most brilliant (and not useless like a light in the desert!) and patient person I know; thank you for the hours and hours of teaching and work… and for your creativity and investment in these studies. Daniel, merci pour ton soutien constant, tes idées innovantes et ta presence apaisante. Merci, Jean-Marie, pour ton travail méticuleux, ton ouverture d’esprit et de ton dynamisme. Céline, un énorme merci; sans toi je n’aurais jamais fini la Licence, ni le Master… quelle chance d’avoir été assise à coté de la fille la plus généreuse, intélligente et drôle de la classe. Merci, Cristel Portes, de m’avoir mise sur la bonne piste et de m’avoir soutenue pendant ix Ana Zappa Embodied semantics put to the test toutes ces années. Merci Noël Nguyen pour le soutien essentiel au tout début. Et un grand merci également à... Raphaël pour les conversations incarnées et inspiratrices, les collaborations, la relecture et les conseils précieux. Daria et Fatima pour votre aide indispensable lors des passassions… Mes camarades doctorants et jeunes docteurs qui ont rendu ce voyage académique encore plus riche et drôle… vous m’inspirez ! Mes amis Marseillais de m’avoir supportée, soutenue et encouragée… et de m’avoir permis de souffler de temps en temps. My far-away friends, who remain present, day in and day out. Minha família e amigos-família no Brasil, não sou ninguém sem vocês. Ma très belle-famille, Pierre, Anne et Annie - chercheuse inspiratrice ! - de m’avoir soutenue. MEB for teaching me to ask questions, for being the most encouraging and supportive mother in the world (I’ve done the stats), for your meticulous proof-reading, and for putting up with me, unconditionally... Pai, pelo amor e pelos neurônios! Vovó e Nando, sempre presentes... Jean-Luc, de m’avoir toujours encouragée et, je sais, je sais, supportée pendant ce travail de longue halaine… ça n’aurait jamais été possible sans toi… Juliette, que me inspira, me alegra e me enche de energia, com vontade de fazer cada vez mais… um dia você vai entender que fiz essa tese, também, por você… Je sors de cette expérience with a great sense of accomplishment, mas, mais que tudo, com a certeza de ter beaucoup de chance de vous avoir in my life. x Contents 1 The theoretical context 1 1.1 General Introduction .