Zurich Open Repository and Archive University of Zurich Main Library Strickhofstrasse 39 CH-8057 Zurich www.zora.uzh.ch Year: 2018 Tell me what you do: the neural processing of the language-action interrelation in early language development Antognini, Katharina Abstract: We communicate by means of language and actions, which we represent in our cognitive system (i.e., action representations). Communication is successful if interaction partners understand each other. This doctoral thesis studies the contribution of the mirror neuron system to the processing of communicative signals in early language development. Two studies investigated if and how the mirror neuron system processes communicative signals (i.e., actions and language) in 18-24-month-olds. Both studies assessed the activity of the mirror neuron system (MNS) by electroencephalography (EEG). Study 1 showed that the mirror neuron system is involved in processing action-related language, specifically action verbs. To do so, it takes the role of a prediction system, which was demonstrated by Study 2, in which action prediction was enhanced if corresponding linguistic information was present previously. In conclusion, the findings of this doctoral thesis point to an involvement of the mirror neuron systemin processing communicative signals early in language development by making predictions. Furthermore, it was shown that action and language are interrelated. Posted at the Zurich Open Repository and Archive, University of Zurich ZORA URL: https://doi.org/10.5167/uzh-156972 Dissertation Published Version Originally published at: Antognini, Katharina. Tell me what you do: the neural processing of the language-action interrelation in early language development. 2018, University of Zurich, Faculty of Arts. Tell me what you do: The neural processing of the language-action interrelation in early language development Thesis (cumulative thesis) presented to the Faculty of Arts and Social Sciences of the University of Zurich for the degree of Doctor of Philosophy by Katharina Antognini Accepted in the fall semester 2018 on the recommendation of the doctoral committee Prof. Dr. Moritz M. Daum (main supervisor) Prof. Dr. Martin Meyer Zurich, 2018 Abstract We communicate by means of language and actions, which we represent in our cognitive system (i.e., action representations). Communication is successful if interaction partners understand each other. This doctoral thesis studies the contribution of the mirror neuron system to the processing of communicative signals in early language development. Two studies investigated if and how the mirror neuron system processes communicative signals (i.e., actions and language) in 18-24-month-olds. Both studies assessed the activity of the mirror neuron system (MNS) by electroencephalography (EEG). Study 1 showed that the mirror neuron system is involved in processing action-related language, specifically action verbs. To do so, it takes the role of a prediction system, which was demonstrated by Study 2, in which action prediction was enhanced if corresponding linguistic information was present previously. In conclusion, the findings of this doctoral thesis point to an involvement of the mirror neuron system in processing communicative signals early in language development by making predictions. Furthermore, it was shown that action and language are interrelated. 2 Zusammenfassung Wir kommunizieren mittels Sprache und über Handlungen, welche wir kognitiv repräsentieren (d.h. Handlungsrepräsentationen). Kommunikation ist erfolgreich, wenn sich Interaktionspartner verstehen. Diese Promotionsarbeit befasst sich damit, was das Spiegelneuronensystem zur Verarbeitung von kommunikativen Signalen in der frühen Sprachentwicklung beiträgt. In zwei Studien wurde untersucht, ob und wie das Spiegelneuronensystem von 18-24-Monatigen kommunikative Signale (d.h. Handlung und Sprache) verarbeitet. Die Aktivität des Spiegelneuronensystems wurde in beiden Studien mittels Elektroenzephalographie (EEG) erhoben. Studie 1 zeigte, dass das Spiegelneuronensystem an der Verarbeitung von handlungsbezogener Sprache, insbesondere Handlungsverben, beteiligt ist. Dabei nimmt es die Rolle eines Vorhersagesystems ein, was Studie 2 zeigte, denn Handlungsvorhersagen waren erleichtert, wenn zuvor die passende sprachliche Information vorhanden war. Zusammenfassend weisen die Befunde dieser Promotionsarbeit darauf hin, dass das Spiegelneuronensystem schon in der frühen Sprachentwicklung durch Vorhersagen an der Verarbeitung von Kommunikation teilnimmt. Zudem zeigte sich, dass Handlung und Sprache miteinander in Verbindung stehen. 3 Danksagung Ich bedanke mich ganz herzlich bei meiner Promotionskommission für die wertvollen Ratschläge, die lehrreichen Diskussionen und die hervorragende Betreuung, die ich in den Jahren meines Doktoratsstudiums erfahren durfte. Ein spezieller Dank geht an Moritz Daum. Danke, dass ich an deinem Lehrstuhl forschen durfte und danke für deinen ansteckenden Optimismus. Ein grosses Dankeschön geht an das gesamte Team der „Kleinen Weltentdecker“, das mich tagtäglich mit Anregungen zu meiner Forschung, Motivation und guter Laune versorgt hat. Besonders möchte ich mich bei Sarah Hauser bedanken, die mit grossem Einsatz in ihrer Masterarbeit massgeblich zu diesem Dissertationsprojekt beigetragen hat. An dieser Stelle möchte ich mich auch bei Hennric Jokeit bedanken, der den Forschergeist in mir geweckt und mir ein Doktoratsstudium nahegelegt hat. Ich bedanke mich auch ganz herzlich bei Claudio Campus für die technische und programmierische Unterstützung in den EEG-Analysen sowie bei Andi Linggi für das Korrekturlesen. Allen Eltern und ihren Kindern gebührt ein grosser Dank für ihre Bereitschaft zur Teilnahme. Ohne die zahlreichen forschungsinteressierten Familien hätte dieses Projekt nicht zustande kommen können. Dieses Dissertationsprojet wäre ebenfalls niemals das geworden, was es jetzt ist, ohne die bedingungslose Unterstützung, die ich von meinen Eltern und meinem Mann Francesco erhalten habe. Danke für die vielen Stunden des Zuhörens, für das Hinhalten als Publikum, wenn ich einen Vortrag vorbereiten musste und für das Vertrauen, das ihr mir geschenkt habt. Ihr seid diesen manchmal schwierigen Weg zusammen mit mir gegangen und habt immer wieder dafür gesorgt, dass ich mein Ziel nicht aus den Augen verliere. 4 Table of Contents Abstract ............................................................................................................................................. 2 Zusammenfassung ......................................................................................................................... 3 Danksagung ..................................................................................................................................... 4 Part I ............................................................................................................................................... 8 1. Introduction ............................................................................................................................... 9 1.1. Mirror neurons in the monkey brain ........................................................................................ 14 1.2. Mirror neurons in the human brain .......................................................................................... 14 1.3. The development of the mirror neuron system .................................................................. 17 1.4. The contribution of the mirror neuron system to action understanding .............. 19 1.5. Language processing and the mirror neuron system....................................................... 23 1.6. Research questions ............................................................................................................................ 32 2. Studies ....................................................................................................................................... 36 2.1. Study 1 ...................................................................................................................................................... 36 2.2. Study 2 ...................................................................................................................................................... 38 4. General discussion ................................................................................................................. 40 4.1. The mirror neuron system and early language processing .......................................... 40 4.2. Processing communicative signals ............................................................................................ 42 4.3. Developing predictive functions ................................................................................................. 50 4.4. Limitations and future directions ............................................................................................... 53 5. Conclusion ................................................................................................................................ 59 References ...................................................................................................................................... 61 Part II ............................................................................................................................................ 82 A) Study 1: Toddlers show sensorimotor activity during auditory verb processing 83 Abstract ..........................................................................................................................................