Julius-Maximilians-Universität Würzburg, Fakultät für Humanwissenschaften Cognitive Processes of Discourse Comprehension in Children and Adults - Comparisons between Written, Auditory, and Audiovisual Modes of Presentation - Inaugural-Dissertation zur Erlangung der Doktorwürde der Fakultät für Humanwissenschaften der Julius-Maximilians-Universität Würzburg vorgelegt von Wienke Charlotte Wannagat aus Würzburg Würzburg, 2018 Erstgutachterin: Prof. Dr. Gerhild Nieding Zweitgutachter: Prof. Dr. Peter Ohler Tag des Kolloquiums: 16. März 2018 Vorwort Diese Arbeit entstand im Rahmen des DFG-Projekts "Die Entwicklung der kognitiven Filmverarbeitung" (Ni496/9-1). Mein Dank gilt zunächst meiner Betreuerin, Prof. Dr. Gerhild Nieding für die Mög- lichkeit ein Thema innerhalb dieses Projekts bearbeiten zu können und für die vielfältige Unterstützung dabei, insbesondere die vielen wertvollen Diskussionen, die mich im- mer wieder herausgefordert und zum Nachdenken angeregt haben. Vielen herzlichen Dank! Außerdem bedanke ich mich bei Prof. Dr. Peter Ohler, der sich als Zweitgutachter zur Begutachtung der Arbeit bereit erklärte sowie bei PD Dr. Eva Michel für die Bereitschaft im Kolloquium als Drittprüferin zu fungieren. Für die hervorragende Arbeit beim Erstellen der Bilder, die einen wesentlichen Teil des Versuchsmaterials darstellen, bedanke ich mich bei Pauline Feichtinger, Sonja Köh- ler und Anna Laumer. Danken möchte ich auch allen studentischen Hilfskräften sowie Bachelor- und Masterarbeitsstudentinnen, die mich bei der Datenerhebung unterstützt haben. Insbesondere gilt hier mein Dank den Forschungspraktikantinnen (in chrono- logischer Reihenfolge) Sabrina Guffler, Madita Schild und Annsophie Ernst. Weiterhin bedanke ich mich auch bei allen kooperierenden Schulen und Versuchspersonen sowie den Eltern der teilnehmenden Kinder. Vielen lieben Dank an alle aktuellen und ehemaligen Kolleginnen und Kollegen vom Lehrstuhl! Ganz besonders danke ich Caro, Catharina, Elisabeth, Frank, Gesine, Juliane und Katharina für die Unterstützung und insgesamt die schöne Zeit vor, während und nach den Mittags- und Tee-/Kaffeepausen! Gesine Waizenegger war außerdem in der Anfangsphase die beste Projektkollegin, die ich mir hätte wünschen können. II Summary This thesis consists of three studies that investigated if and how different modes of presentation - written, auditory, audiovisual (auditory combined with pictures) - affect comprehension of semantically identical materials. Children aged 7 to 12 and adults were included into the studies. The theoretical foundation for this thesis and accordingly the definition and opera- tionalization of comprehension refer to comprehensive theories of text comprehension that assume that this process involves at least three levels of processing (Kintsch, 1998): a representation of the text surface that is still close to perception, a representation of the propositional text base that contains the text’s semantic content, and finally a situ- ation model that represents the whole situation described in a text. While the mental representations of the text surface and the text base preserve the representational for- mat of the text, the situation model is assumed to also include perceptual simulations of the verbally described situations (e.g., Zwaan, 2014). Furthermore, text comprehen- sion requires the reader to establish coherence on a local level by connecting subsequent sentences, and on a global level by connecting widely separated text passages with each other, or a current phrase with the overall topic (Graesser, Singer, & Trabasso, 1994). Beneficial effects of pictures added to auditorily presented verbal materials have been found in a vast amount of studies, at least for children up to the age of 12 (e.g., Carney & Levin, 2002). These effects correspond to the multimedia effect (e.g., Mayer, 2005a), according to which people supposedly learn better from words and pictures than from words alone. The multimedia effect can be explained by mechanisms of dual coding (Paivio, 1986), thus assuming that pictures offer additional memory code that supports processing of the relevant content (J. Fletcher & Tobias, 2005). Moreover, in contrast to words, pictures are assumed to physically resemble their referents and therefore rep- resent the reality analogically, based on common structural properties (e.g., Schnotz, 1993). Therefore, these specific characteristics of pictures may facilitate situation model construction, assuming that the situation model is, at least in part, a perceptual sim- ulation of the represented information and resembles the representation of a real-life experience (Zwaan, 2014). If cognitive processing of verbal materials differs depending on the mode of presen- tation (auditory or written), has been controversially discussed. Unitary process views assume a general ability of receptive language comprehension and therefore assume the same cognitive processes to underlie reading and listening comprehension. In contrast, III dual process views assume cognitive processing and mental representations to differ depending on whether someone reads or listens to a text (e.g., Danks & End, 1987). Studies that compared reading and listening comprehension have produced inconclu- sive results so far. Using a sentence recognition task (Schmalhofer & Glavanov, 1986), we examined whether the memory of the text surface, the text base, and the situation model differs between written, auditory, and audiovisual text presentation in a sample of 103 8- and 10-year-olds and adults (Study I), and between auditory and audiovisual text presen- tation in a sample of 106 7-, 9-, and 11-year-olds (Study II). Furthermore, we examined with 155 9- and 11-year-olds, whether the ability to draw inferences to establish local and global coherence differs between written, auditory, and audiovisual text presenta- tion. These inferences were indicated by reaction times to words associated with a story protagonist’s super- (global) or subordinate (local) goal in a word-recognition task. In terms of the comparison of verbal-only (auditory and written) and audiovisual text, the results of these three studies taken together, indicate that which mode of text presentation promotes text comprehension depends on the specific cognitive process. On the one hand, for children at least up to the age of 12 both memory of the situation model and establishing global coherence, which can be summarized as processing of the text’s gist or macro structure, are facilitated by an audiovisual text presentation. On the other hand, it seems that both the memory of the text base and local coherence, which may be more closely linked to the text base than to situation model processing, do not benefit from additional pictures. This effect is discussed within the framework of the integrated model of text and picture comprehension according to which the cognitive processing of pictures does not necessarily include mentally representing a proposi- tional structure (i.e., text base) of the content (e.g., Schnotz & Bannert, 2003). For the adults, in contrast, we did not find an effect of the presentation mode when comparing verbal-only (auditory and written) and audiovisual text. In terms of the comparison of auditory and written text, the findings of the Studies I and III taken together suggest that the age and thus presumably the decoding ability seems to mediate the effect of presentation mode on the various aspects of text com- prehension assessed in the three studies. Eight-year-olds showed better memory of the situation model at auditory than at written text presentation. Older children (ages 10, and 11) and adults in turn, apparently either do not benefit from either form of presen- tation, as shown in terms of memory of the situation model (Study I), or perform better after reading a text than after listening to it, when it comes to establishing local and global coherence (Study III). Consequently, the result pattern produced by these studies does not speak in favor of either the unitary or the dual process view. IV Zusammenfassung Die vorliegende Dissertation umfasst drei Studien, die untersuchen, ob und wie ver- schiedene Darbietungsformen - schriftlich, auditiv und audiovisuell (auditiv in Kom- bintation mit Bildern) - die kognitiven Prozesse beim Verstehen semantisch identischer Texte beeinflussen. Es wurden Kinder zwischen 7 und 12 Jahren sowie Erwachsene untersucht. Die theoretische Basis dieser Arbeit und somit auch die Definition und Operatio- nalisierung von Textverstehen orientiert sich an der vorherrschenden Sichtweise, dass dieser Prozess mit dem Aufbau von mindestens drei Ebenen mentaler Repräsentatio- nen einhergeht (Kintsch, 1998): einer wahrnehmungsnahen Repräsentation der Tex- toberfläche, einer Repräsentation der propositionalen Textbasis und schließlich einem Situationsmodell, das die gesamte im Text beschriebene Situation mental repräsentiert. Während bei der Repräsentation der Textoberfläche und der Textbasis das Repräsen- tationsformat des Textes beibehalten wird, nimmt man für das Situationsmodell an, dass dieses auch perzeptuelle Simulationen der verbal beschriebenen Situation enthal- ten kann (z. B. Zwaan, 2014). Außerdem erfordert das Verstehen eines Textes, dass Kohärenz hergestellt wird. Dieser Prozess umfasst sowohl eine lokale Ebene, indem aufeinanderfolgende Sätze miteinander verknüpft werden als auch eine globale Ebene, indem weiter auseinanderliegende Textpassagen miteinander und aktuelle Information mit dem übergeordneten Thema verknüpft