Modeling Prediction and Pattern Recognition in the Early Visual and Olfactory Systems
Total Page:16
File Type:pdf, Size:1020Kb
Modeling prediction and pattern recognition in the early visual and olfactory systems BERNHARD A. KAPLAN Doctoral Thesis Stockholm, Sweden 2015 TRITA-CSC-A-2015:10 ISSN-1653-5723 KTH School of Computer Science and Communication ISRN KTH/CSC/A-15/10-SE SE-100 44 Stockholm ISBN 978-91-7595-532-2 SWEDEN Akademisk avhandling som med tillstånd av Kungl Tekniska högskolan fram- lägges till offentlig granskning för avläggande av Doctoral Thesis in Computer Science onsdag 27:e maj 2015 klockan 10.00 i F3, Lindstedtsvägen 26, Kungl Tekniska högskolan, Stockholm. © Bernhard A. Kaplan, April 2015 Tryck: Universitetsservice US AB iii Abstract Our senses are our mind’s window to the outside world and deter- mine how we perceive our environment. Sensory systems are complex multi-level systems that have to solve a multitude of tasks that allow us to understand our surroundings. However, questions on various lev- els and scales remain to be answered ranging from low-level neural responses to behavioral functions on the highest level. Modeling can connect different scales and contribute towards tackling these questions by giving insights into perceptual processes and interactions between processing stages. In this thesis, numerical simulations of spiking neural networks are used to deal with two essential functions that sensory systems have to solve: pattern recognition and prediction. The focus of this thesis lies on the question as to how neural network connectivity can be used in order to achieve these crucial functions. The guiding ideas of the models presented here are grounded in the probabilistic interpretation of neural signals, Hebbian learning principles and connectionist ideas. The main results are divided into four parts. The first part deals with the problem of pattern recognition in a multi-layer network inspired by the early mammalian olfactory sys- tem with biophysically detailed neural components. Learning based on Hebbian-Bayesian principles is used to organize the connectivity be- tween and within areas and is demonstrated in behaviorally relevant tasks. Besides recognition of artificial odor patterns, phenomena like concentration invariance, noise robustness, pattern completion and pat- tern rivalry are investigated. It is demonstrated that learned recurrent cortical connections play a crucial role in achieving pattern recognition and completion. The second part is concerned with the prediction of moving stimuli in the visual system. The problem of motion-extrapolation is stud- ied using different recurrent connectivity patterns. The main result shows that connectivity patterns taking the tuning properties of cells into account can be advantageous for solving the motion-extrapolation problem. The third part focuses on the predictive or anticipatory response to an approaching stimulus. Inspired by experimental observations, parti- cle filtering and spiking neural network frameworks are used to address the question as to how stimulus information is transported within a mo- tion sensitive network. In particular, the question if speed information is required to build up a trajectory dependent anticipatory response is studied by comparing different network connectivities. Our results iv suggest that in order to achieve a dependency of the anticipatory re- sponse to the trajectory length, a connectivity that uses both position and speed information seems necessary. The fourth part combines the self-organization ideas from the first part with motion perception as studied in the second and third parts. There, the learning principles used in the olfactory system model are applied to the problem of motion anticipation in visual perception. Sim- ilarly to the third part, different connectivities are studied with respect to their contribution to anticipate an approaching stimulus. The contribution of this thesis lies in the development and simu- lation of large-scale computational models of spiking neural networks solving prediction and pattern recognition tasks in biophysically plau- sible frameworks. v Sammanfattning Våra sinnen är vårt medvetandes fönster mot omvärlden och på- verkar hur vi uppfattar vår värld. De sensoriska systemen är komplexa flernivåsystem som måste lösa en mängd olika uppgifter för att vi ska kunna förstå vår omgivning. Men frågor på olika nivåer och skalor åter- står att besvaras, allt från hur nervceller reagerar på stimuli på låg nivå till frågor om beteende på den högsta nivån. Med modellering kan man koppla ihop problem på olika skalor och på så vis svara på dessa ge- nom att skapa insikter i perceptuella processer och interaktioner mellan dessa processer. I denna avhandling har numeriska simuleringar av neuronnät an- vänts för att undersöka två viktiga funktioner som dessa sensoriska system har: mönsterigenkänning och förutsägelse. Fokus i denna av- handling ligger på frågan om hur anslutingsmönster i neuronnät kan användas för att uppnå dessa viktiga funktioner. De vägledande idéer som modellerna grundar sig på är förankrade i, statistisk tolkning av neurala signaler, principer för inlärning inspirerade av Hebb och con- nectionist idéer. De viktigaste resultaten är indelade i fyra delar. Det första delen handlar om problemet med mönsterigenkänning i ett flerskiktnätverk inspirerat av luktsystemet på låg nivå hos dägg- djur, med biofysiskt detaljerade neurala komponenter. Inlärning utifrån Hebbianskt-Bayesian principer används för att organisera anslutning- ar mellan och inom neuronnät och demonstreras i beteendemässigt re- levanta uppgifter. Förutom mönsterigenkänning av artificiella lukter, undersöktes fenomen så som koncentrations-invarians, robusthet mot störningar, mönster färdigställande och mönster rivalitet. Vi visar här att inlärda återkopplade kortikala kopplingar mellan neuroner spelar en avgörande roll för att uppnå mönsterigenkänning och färdigställande. Den andra delen handlar om förutsägelse av rörelsen av föremål i det visuella systemet. Problemet med rörelseextrapolering studeras med hjälp av olika anslutningsmönster återkoppling mellan neuroner. De hu- vudsakliga resultaten visar att anslutningsmönster som tar hänsyn till neuroners specifika stimulanssvar har en fördel i att lösa rörelseextra- polerings problem. Den tredje delen fokuserar på prediktiva eller förutseende svar på annalkande stimulans. Inspirerad av experimentella observationer, an- vänd två ramverk (particle filtering och spikande neuronnät) för att ta upp frågan om hur stimulans-information transporteras inom ett rörel- seigenkännande nätverk. Vi tittade på om hastighets information krävs för att bygga upp en förutsägelse av banan genom att jämföra olika nätverks-anslutningsmönster. Våra resultat visar på att ett anslutnings- vi mönster som tar hänsyn till information om både hastighet och position är nödvändigt för att banans längd ska vägas in i nätverkets svar. Den fjärde delen kombinerar idéer om inlärning från den första de- len med idéer om rörelseuppfattning som studeras i den andra och tredje delen. I likhet med den tredje delen, studeras olika nätverks- anslutningsmönster med avseende på deras möjlighet att förutse ett annalkande rörelsemönster. Bidraget från denna avhandling är utveckling och simulering av stor- skaliga beräkningsmodeller för spikande neuronnät använda för förutsä- gelse och mönsterigenkännings-uppgifter inom biofysiskt rimliga ramar. vii Acknowledgements First, I would like to express my sincere gratitude to my supervisor, An- ders Lansner, for being a great, enthusiastic mentor guiding my research at KTH to a successful end, for always being available for discussions, helpful and patient, providing support and encouragement, all the helpful feedback (even on short notice) on manuscripts, which always improved the quality significantly, for undersanding my urge to travel and giving me the necessary freedom to explore different paths (both scientifically and geographically). I also would like to express my honest gratitude to my second supervisor, Örjan Ekeberg, for providing assistance and support in all aspects, the critical, but very constructive and useful input during meetings and discussions. I would also like to thank Erik Fransén for always being helpful and understanding, giving valuable support and encouraging feedback whenever needed. I would also like to thank my opponent professor Fred Hamker for his feedback and generously offering his time, and the committee members Marja- Leena Linne, Johan Lundström and Giampiero Salvi for their commitment by agreeing to serve on the review committee. My research was made possible through generous KTH support and EU funding: the FACETS-ITN project (grant number 237955) and the Brain- ScaleS project (grant number FP7-269921). Additional financial support was received from IBRO, INCF and the Stockholm Brain Institute for travel grants. Furthermore, I’m taking this opportunity to express my sincere gratitude to Laurent Perrinet, Mina Khoei and Guillaume Masson for the productive collaborations, the support and motivation to push forward the work on mo- tion extrapolation and anticipation. I would also like to thank Karlheinz Meier for paving the way to start my PhD in Stockholm and the continuous support. My colleagues at CB deserve particular gratitude for the great atmosphere, both inside and outside the work place. I am greatly in debted to Arvind Ku- mar for his feedback and commitment during the review process, to Peter Ahlström for translating the abstract and Tony Lindeberg for inspiring dis- cussions and feedback. Overall, I had a wonderful time in the