Conflict Monitoring and Reinforcement Learning
Total Page:16
File Type:pdf, Size:1020Kb
Conflict monitoring and reinforcement learning Senne Braem Promotor: Prof. Dr. Wim Notebaert Proefschrift ingediend tot het behalen van de academische graad van Doctor in de Psychologie 2013 Conflict monitoring and reinforcement learning Senne Braem Promotor: Prof. Dr. Wim Notebaert Proefschrift ingediend tot het behalen van de academische graad van Doctor in de Psychologie 2013 CONTENTS CONTENTS 5 ACKNOWLEDGEMENTS 9 CHAPTER 1 INTRODUCTION 13 CONFLICT: FROM THE FIELD TO THE LAB (AND BACK TO THE FIELD) 15 MONITORING AND ADAPTING TO CONFLICT 18 REINFORCEMENT LEARNING 21 CONFLICT MONITORING AND REINFORCEMENT LEARNING 26 THE PRESENT DISSERTATION 40 REFERENCES 46 CHAPTER 2 CONFLICT ADAPTATION BY MEANS OF ASSOCIATIVE LEARNING 63 INTRODUCTION 64 EXPERIMENT 1 AND 2 66 DISCUSSION 73 REFERENCES 76 CHAPTER 3 REWARD MODULATES ADAPTATIONS TO CONFLICT 79 INTRODUCTION 80 EXPERIMENT 1 82 EXPERIMENT 2 87 GENERAL DISCUSSION 92 REFERENCES 97 6 CONTENTS CHAPTER 4 REWARD MODULATES CONTEXT-SENSITIVE COGNITIVE CONTROL 103 INTRODUCTION 104 EXPERIMENT 1 109 EXPERIMENT 2 113 EXPERIMENT 3 118 GENERAL DISCUSSION 123 REFERENCES 128 CHAPTER 5 PUNISHMENT SENSITIVITY PREDICTS THE IMPACT OF PUNISHMENT ON COGNITIVE CONTROL 135 INTRODUCTION 136 METHOD 140 RESULTS AND DISCUSSION 143 GENERAL DISCUSSION 150 REFERENCES 154 CHAPTER 6 NO PAIN, NO GAIN: THE BIVALENT AFFECTIVE NATURE OF COGNITIVE CONFLICT 161 INTRODUCTION 162 EXPERIMENT 1 167 EXPERIMENT 2 172 EXPERIMENT 3 176 EXPERIMENT 4 179 GENERAL DISCUSSION 184 REFERENCES 190 APPENDIX 197 CHAPTER 7 AFFECTIVE MODULATION OF COGNITIVE CONTROL IS DETERMINED BY PERFORMANCE- CONTINGENCY 199 INTRODUCTION 200 MATERIALS AND METHODS 202 CONTENTS 7 RESULTS 209 DISCUSSION 219 REFERENCES 224 CHAPTER 8 GENERAL DISCUSSION 233 ON THE THIN LINE BETWEEN REWARD AND AFFECT: REWARD AS A DIMENSION 243 LOOKING AT THE NEGATIVE SIDE OF THINGS 246 AROUSAL AFTER ALL? 247 SKINNER UNDER THE SKIN: BRAIN REGIONS AND NEUROTRANSMITTER FUNCTIONS 249 CONFLICT MONITORING AND REINFORCEMENT LEARNING: AN OVERARCHING FRAMEWORK? 254 FUTURE DIRECTIONS 258 REFERENCES 263 NEDERLANDSTALIGE SAMENVATTING: CONFLICT MONITORING EN REINFORCEMENT LEARNING 277 INLEIDING 277 STUDIE 1: CONFLICT ADAPTATIE IS EFFECTORSPECIFIEK 282 STUDIE 2: BELONING MODULEERT ADAPTATIES NA CONFLICT 282 STUDIE 3: BELONING MODULEERT CONTEXTSPECIFIEKE ADAPTATIES NA CONFLICT 283 STUDIE 4: STRAF MODULEERT ADAPTATIES NA CONFLICT, AFHANKELIJK VAN STRAF GEVOELIGHEID 284 STUDIE 5: KAN HET CORRECT BEANTWOORDEN VAN CONFLICT BELONEND ZIJN? 285 STUDIE 6: AFFECTIEVE MODULATIES VAN CONFLICT ADAPTATIE EN DE ROL VAN TAAK RELEVANTIE 286 BESLUIT 287 REFERENTIES 288 ACKNOWLEDGEMENTS Everybody loves the acknowledgements pages. However, my deadline- oriented working style made me safe this for last, and I don't have that much time left before I must take this to the printer. Shame on me, cause I have a lot of people to be thankful for; people who've been there for me, both professionally and personally! Wim! Ik kan met niemand anders beginnen dan jou te bedanken. Uiteraard. Los van het protocol. Je bent een geweldige promotor! Ik vond steeds een open deur voor mijn vragen, maar ook voor je onuitputtelijke bron van rake onderzoeksideeën, aanstekelijk enthousiasme, en onverdeelde aandacht. Ik hoop dat de toekomst mij toestaat nog vaak met je samen te mogen werken. Ik heb ook altijd genoten van onze gezamelijke drink-, eet-, of congres- gelegenheden en kijk alweer uit naar de volgende! Naast Wim vond ik ook een uitstekende co-promotor in Tom. Helaas niet officieel, maar laat dit dankwoord er getuige van zijn dat Tom een grote hulp was in het uitlijnen en helpen nadenken bij dit onderzoeksproject! Ik heb enorm veel bijgeleerd uit onze verscheidene discussies over het model en mogelijke manieren om het experimenteel te testen. I'm also very thankful to the FWO and Tobias that I could come over to the States and have the pleasure to get to know and work with Tobias and his lab members. Not only have you been a big help and inspiration for my work, it was nice to get to know you as an easy going, fun person ready to share a beer or a baseball game! I hope our collaboration continues. Verder wil ik ook Richard en Roeljan bedanken voor de excellente begeleiding tijdens het verloop van mijn doctoraat, but also Birgit Stürmer, Gesine Dreisbach, Nico Boehler, and Gilles Pourtois, for making time to read and evaluate my dissertation! 10 ACKNOWLEDGEMENTS Wout, we ruilden samen Zedelgem in voor Gent, kozen dezelfde bachelorthesis, dezelfde masterthesis, dezelfde stage, en dezelfde promotor. We delen tot op vandaag onze muziek, films en bieren. Nochtans zijn we geen broers (toch?). Gelukkig dat onze karakters verschillen, anders ging onze vriendschap waarschijnlijk gauw vervelen. We zijn gedoemd om straks na dit doctoraat weer dezelfde carrièrekeuze te maken, daar reken ik op! Femke, je warme persoonlijkheid wordt nu al gemist en, neen, die gans is geen waardig alternatief. Ik heb genoten van onze samenwerking, maar nog meer van je aanstekelijke lach, je TGV-droom-verhalen, en ons uitwisselen van spelletjes en muziek! Nathalie, jij was altijd een luisterend oor voor onze bekommernissen, stelde steeds de orde op zaken in ons bureau wanneer nodig en steunt me als enigste in het leegroven van de snoepautomaat! Elger, je bent een inspirerende bron van ideeën, motivatie en soms onverwachte mopjes. Liesbet en Marlies, altijd leuk jullie in ons bureau op bezoek te hebben, ik ben altijd benieuwd naar jullie steeds interessante projecten. Clio en Stephanie, dank je dat ik jullie thesis mocht begeleiden, ik heb er minstens evenveel van bijgeleerd: Niet alleen over begeleiden, maar ook over EEG en balsporten respectievelijk! I would also like to thank Elena for helping me out with EEG and Ruth for helping me out with fMRI analyses, but also Clémence for teaching me time-frequency analyses, Marlies and Massimo for their assistance in pupil measurements, Nico for helping me find my way to Sam's quick shop, and Batman for Firefly, but of course each one of you also for just knowing you! Even dikke merci aan Jelle, Seppe, Egbert, Jonne, Michael, Christophe, Michel, Eliana, Durk, Wouter, Arnaud, Hanne, Jean-Philippe, en andere collegas voor onze gezamenlijke congressreizen, koffiepauzes, recepties, of cafébezoekjes! Lies en Linde, jullie admisitratieve hulp is onschatbaar en dankjewel Liliane voor onze immer propere werkomgeving. Merci Tartientje voor de broodjes! I would definitely like to thank Joe and Franzi, for their warm welcome, extensive (work-, stay-, drink-, and travel-related) help, and inspiring collaboration, but also Darinka, Maryem, Jiefeng, Anastasia, and Amelia, ACKNOWLEDGEMENTS 11 for football, frozen yoghurt, garden concerts, sushi, beer, and work-related matters! I also want to thank Luke, Susan, and Natalie for their professional help in data collection, and inspiring stories about their father, daughter, and Russian history, respectively. Lastly, Bernardo, we only met once, but I really would like to thank you once more for trusting me with your apartment, and your car! Sorry for returning it with a dead battery! I also would like to thank Clayton for the inspiring collaboration and our fun meetings in Ghent, but also Birgit and Roland for the interesting internship and great time in Berlin. Ten slotte wil ik graag ook Henk bedanken voor onze interessante discussies over onze vaak samenlopende onderzoekslijnen! Ik dank ook mijn maten en dan vooral Pieter voor de space disk launcher, Niek voor het lepeltje, Ramzi voor z'n zak, Bert voor de overnachting, Lex voor zijn politieke campagne, Nicolas voor z'n velo, Thomas voor Turku, en Jari voor niets, maar toch ook een beetje voor iets. Ik dank ook Sanne, Jan, Joke, Kim, Johan, Marion, Didier, Lis, Jonas, Pauline, Fanny, Sien, en iedereen die ik nu vergeet! Dank je Mama en Papa, ik kijk nog elke dag op naar jullie! Janos en Simon, kleine broer en grote broer, jullie zijn een enorme steun voor mij! Al altijd geweest! Anja en Pascal, bedankt voor alles! Nonkel Benny, zonder jou had ik geen huis! En tenslotte Franky, dankje voor je aanmoedigende woorden, en het uitlikken van mijn yoghurtpotjes. Elisabeth. Ik kan met alles bij jou terecht! Ik kan mijn dank voor jou niet in een dankwoord samenvatten. Je liefde, je zorg, je grappen... De laatste vijf jaren waren heerlijk: ons werk, onze reizen, ons huis. En dit is nog maar het begin? Ik ben klaar voor ons volgend hoofdstuk! Senne, 8 april 2013 12 ACKNOWLEDGEMENTS CHAPTER 1 INTRODUCTION As the deadline for submitting my dissertation is approaching, spring is showing its first signs. The sun is inviting me to go outside and have that much yearned-for first beer in the sun with my friends. But I can't. I shouldn't. My "cognitive control"-system is running on an all time high, helping me to stay inside and focus on those millisecond effects I've been gathering the last three and a half years. Why is it doing that? And how does this work? These were the questions I wanted to address. During my time as a PhD student, we (my helpful colleagues and I) have been collecting data to address the question on how, but also why, we adapt so quickly to ever- changing environments, and how we control all this incoming information as to avoid conflicting responses. For example, when starting our computer, our desktop presents us with a range of desktop icons to choose from. Although we're well aware that we should be opening our text-editor to finish that project we started long ago, we often find ourselves clicking on our web browser first, and before we know we're leaning back and watching funny videos of kittens on the internet. This often happens before we realize and therefore not always constitutes a conscious decision towards a more pleasing option, but rather a well-trained automatic prepotent response that, through learning, has been associated with immediate reinforcements (Skinner, 1953).