This thesis has been submitted in fulfilment of the requirements for a postgraduate degree (e.g. PhD, MPhil, DClinPsychol) at the University of Edinburgh. Please note the following terms and conditions of use: • This work is protected by copyright and other intellectual property rights, which are retained by the thesis author, unless otherwise stated. • A copy can be downloaded for personal non-commercial research or study, without prior permission or charge. • This thesis cannot be reproduced or quoted extensively from without first obtaining permission in writing from the author. • The content must not be changed in any way or sold commercially in any format or medium without the formal permission of the author. • When referring to this work, full bibliographic details including the author, title, awarding institution and date of the thesis must be given. Audio-visual interactions in manual and saccadic responses Elena Makovac Ph.D. thesis The University of Edinburgh & University of Trieste 2013 ii Posvećeno mami, tati, baki i Sandru iii Abstract Chapter 1 introduces the notions of multisensory integration (the binding of information coming from different modalities into a unitary percept) and multisensory response enhancement (the improvement of the response to multisensory stimuli, relative to the response to the most efficient unisensory stimulus), as well as the general goal of the present thesis, which is to investigate different aspects of the multisensory integration of auditory and visual stimuli in manual and saccadic responses. The subsequent chapters report experimental evidence of different factors affecting the multisensory response: spatial discrepancy, stimulus salience, congruency between cross-modal attributes, and the inhibitory influence of concurring distractors. Chapter 2 reports three experiments on the role of the superior colliculus (SC) in multisensory integration. In order to achieve this, the absence of S-cone input to the SC has been exploited, following the method introduced by Sumner, Adamjee, and Mollon (2002). I found evidence that the spatial rule of multisensory integration (Meredith & Stein, 1983) applies only to SC-effective (luminance-channel) stimuli, and does not apply to SC-ineffective (S-cone) stimuli. The same results were obtained with an alternative method for the creation of S-cone stimuli: the tritanopic technique (Cavanagh, MacLeod, & Anstis, 1987; Stiles, 1959; Wald, 1966). In both cases significant multisensory response enhancements were obtained using a focused attention paradigm, in which the participants had to focus their attention on the visual modality and to inhibit responses to auditory stimuli. Chapter 3 reports two experiments showing the influence of shape congruency between auditory and visual stimuli on multisensory integration; i.e. the correspondence between structural aspects of visual and auditory stimuli (e.g., spiky shape and “spiky” sounds). Detection of audio-visual events was faster for congruent than incongruent pairs, and this congruency effect occurred also in a focused attention task, where participants were required to respond only to visual targets and could ignore irrelevant auditory stimuli. This particular type of cross-modal congruency was been evaluated in relation to the inverse effectiveness rule of multisensory integration (Meredith & Stein, 1983). In Chapter 4, the locus of the cross-modal shape congruency was evaluated applying the race model analysis (Miller, 1982). The results showed that the violation of iv the model is stronger for some congruent pairings in comparison to incongruent pairings. Evidence of multisensory depression was found for some pairs of incongruent stimuli. These data imply a perceptual locus for the cross-modal shape congruency effect. Moreover, it is evident that multisensoriality does not always induce an enhancement, and in some cases, when the attributes of the stimuli are particularly incompatible, a unisensory response may be more effective that the multisensory one. Chapter 5 reports experiments centred on saccadic generation mechanisms. Specifically, the multisensoriality of the saccadic inhibition (SI; Reingold&Stampe, 2002) phenomenon is investigated. Saccadic inhibition refers to a characteristic inhibitory dip in saccadic frequency beginning 60-70 ms after onset of a distractor. The very short latency of SI suggests that the distractor interferes directly with subcortical target selection processes in the SC. The impact of multisensory stimulation on SI was studied in four experiments. In Experiments 7 and 8, a visual target was presented with a concurrent audio, visual or audio-visual distractor. Multisensory audio-visual distractors induced stronger SI than did unisensory distractors, but there was no evidence of multisensory integration (as assessed by a race model analysis). In Experiments 9 and 10, visual, auditory or audio-visual targets were accompanied by a visual distractor. When there was no distractor, multisensory integration was observed for multisensory targets. However, this multisensory integration effect disappeared in the presence of a visual distractor. As a general conclusion, the results from Chapter 5 results indicate that multisensory integration occurs for target stimuli, but not for distracting stimuli, and that the process of audio-visual integration is itself sensitive to disruption by distractors. v Sintesi L’ambiente fornisce informazioni che vengono trasportate dai diversi canali sensoriali. Nonostante nelle prime fasi di elaborazione queste informazioni siano segregate tra loro, il risultato finale della percezione è sempre unitario e coerente. Il processo che porta dall’iniziale divisione dell’informazione tra diversi canali sensoriali a un risultato finale unificato viene denominato integrazione multisensoriale(Stein & Meredith, 1993). I sistemi sensoriali sono stati studiati in modo approfondito ma separatamente, in quanto deputati alla raccolta di specifiche forme di energia fisica (quali la luce per la visione, la pressione cutanea per il tatto, le onde acustiche per l’udito e così via). Solo in anni più recenti l’interesse per la loro unione ha prevalso sull’interesse per i singoli componenti. Dopo i primi studi pionieristici condotti da Meredith e Stein (1983), l’interesse per questo campo di ricerca è cresciuto incessantemente. La ragione è che l’integrazione multisensoriale è la condizione più naturale per l’organismo, e sono rare le volte in cui un oggetto o evento ambientale stimola un solo canale sensoriale, e lascia intatti gli altri. L’integrazione multisensoriale viene misurata valutando il miglioramento della risposta a uno stimolo multisensoriale in relazione a una risposta agli stimuli unisesensoriali. La misura presa in considerazione è quindi il miglioramento della risposta multisensoriale (multisensory response enhancement, MRE), che costituisce il principale concetto sul quale si basano gli esperimenti della presente tesi. Il miglioramento viene inteso in diversi modi, a seconda del tipo di studio e dal tipo di compito: nel caso di studi neurofisiologici si tratta di potenziali evocati, negli studi comportamentali invece viene valutata la riduzione dei tempi di reazione o l’aumento di sensibilità. Tradizionalmente si presumeva che l’integrazione tra le informazioni elaborate indipendentemente dalle diverse modalità avvenisse in aree neocorticali associative ‘di alto livello’. Gli studi di Meredith e Stein (1983) invece, hanno individuato il Collicolo Superiore (CS) come una delle principali strutture coinvolte nel processo di integrazione multisensoriale, data la alta percentuale di neuroni multisensoriali presenti nei suoi strati profondi. Gli stessi autori hanno enucleato tre regole dell’integrazione multisensoriale: la regola spaziale, la regola temporale e la regola dell’efficacia inversa. Le regole spaziale e vi temporale si riferiscono al miglioramento dell’integrazione per stimoli che accadono in prossimità spazio-temporale. La regola dell’efficacia inversa, invece, riguarda la salienza degli stimoli che devono venire integrati: più gli stimoli sono deboli, più forte è la loro integrazione. L’obiettivo generale di questa tesi è lo studio di diversi aspetti dell’integrazione tra stimoli uditivi e visivi, nelle risposte sia manuali sia saccadiche. Dopo l’introduzione generale contenuta nel Capitolo 1, nel Capitolo 2 viene trattato l’effetto della discrepanza spaziale sull’integrazione multisensoriale mediata dal CS. In questo capitolo vengono utilizzati due metodi che permettono di isolare l’attività del CS e di concludere se l’effetto studiato sia mediato da questa struttura oppure no. Questi metodi si basano su dati neurofisiologici che riportano una sostanziale assenza di afferenze dai coni S (specializzati per le lunghezze d’onda corte) al CS, che sarebbe invece attivato dal segnale di luminanza, cui non contribuisce l’output dei coni S. I dati riportati nel secondo capitolo indicano che la regola spaziale si applica solo agli stimoli che attivano il CS e non a quelli che non lo attivano. Nel Capitolo 3 vengono presi in considerazione altri fattori che influenzano l’integrazione multisensoriale: la congruenza tra vari attributi degli stimoli, ovvero la congruenza crossmodale. Sono stati presentati stimoli “spigolosi” e “rotondi”, sia visivi che uditivi, in condizioni congruenti o incongruenti. È stata inoltre manipolata la luminanza degli stimoli visivi, per studiare la relazione tra la congruenza cross-modale e la legge dell’efficacia