A Connectionist Model of Spatial Learning in the Rat
Total Page:16
File Type:pdf, Size:1020Kb
A CONNECTIONIST MODEL OF SPATIAL LEARNING IN THE RAT THÈSE NO 2951 (2004) PRÉSENTÉE À LA FACULTÉ INFORMATIQUE ET COMMUNICATIONS Institut des systèmes informatiques et multimédias SECTION D'INFORMATIQUE ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR ÈS SCIENCES PAR Thomas STRÖSSLIN ingénieur électricien diplômé EPF de nationalité suisse et originaire de Bâle (BS) acceptée sur proposition du jury: Prof. W. Gerstner, directeur de thèse Prof. C. Brandner, rapporteur Prof. A. Ijspeert, rapporteur Prof. K. Pawelzik, rapporteur Lausanne, EPFL 2004 Summary When animals explore an environment, they store useful spatial information in their brains. In subsequent visits, they can recall this information and thus avoid dangerous places or find again a food location. This ability, which may be crucial for the animal’s survival, is termed “spatial learning”. In the late 1940s, theoretical considerations have led researchers to the conclusion that rats establish a “cognitive map” of their environment. This spatial representation can then be used by the animal in order to navigate towards a rewarding location. In 1971, researchers have for the first time found direct evidence that the hippocampus, abrainareain the limbic system, may contain such a cognitive map. The activity of neurons in the hippocampus of rats tends to be highly correlated with the animal’s position within the environment. These “place cells” have since been the target of a large body ofresearch. Apart from spatial learning, the hippocampus seems to be involved in a more general type of learning, namely in the formation of so-called “episodic memories”. Models of hippocampal function could thus provide valuable insights for the under- standing of memory processes in general. Insights from animal navigation could also prove beneficial for the design of au- tonomous mobile robots. constructing a consistent map of the environment from experience, and using it for solving navigation problems are difficult tasks. Incor- porating principles borrowed from animal navigation may help building more robust and autonomous robots. The main objective of this thesis is to develop a neural network model of spatial learning in the rat. The system should be capable of learning how to navigate to a hidden reward location based on realistic sensory input. The system is validated on amobile robot. Our model consists of several interconnected brain regions, each represented by a population of neurons. The model closely follows experimental results on functional, anatomical and neurophysiological properties of these regions. One population, for instance, models the hippocampal place cells. A head-direction system closely inter- acts with the place cells and endows the robot with a sense of direction. A population of motor-related cells codes for the direction of the next movement. Associations are learnt between place cells and motor cells in order to navigate towards a goal location. This study allows us to make experimental predictions on functional and neuro- physiological properties of the modelled brain regions. In our validation experiments, the robot successfully establishes a spatial representation. The robot can localise itself in the environment and quickly learns to navigate to the hidden goal location. iii Zusammenfassung Wenn ein Tier seine Umgebung erkundet, werden n¨utzliche Informationen in seinem Gehirn gespeichert. Zu einem sp¨ateren Zeitpunkt k¨onnen diese Informatio- nen abgerufen werden und dem Tier helfen, gef¨ahrliche Orte zu umgehen oder eine zuvor entdeckte Nahrungsquelle wiederzufinden. Diese lebenswichtige F¨ahigkeit wird “r¨aumliches Lernen” genannt. Um 1948 haben Verhaltensforscher aus theoretischen Gr¨unden postuliert, dass die Ratte eine “kognitive Karte” ihrer Umgebung erstellt. Diese Karte wird dann verwendet, um einen Zielort aufzusuchen. 1971 wurde zum ersten Mal ein direkter Hinweis gefunden, dass der Hippocampus,eineGehirnregion im limbischen System, eine kognitive Karte enthalten k¨onnte. Die neuronale Aktivit¨at im Hippocampus der Ratte scheint im Zusammenhang mit dem Aufenthaltsort des Tiers zu stehen. Diese sogenannten “Ortszellen” sind seither das Ziel vieler wissenschaftlicher Studien. Der Hippocampus scheint nicht nur am r¨aumlichen Lernen, sondern an einer generelleren Form von Lernen beteiligt zu sein, n¨amlich an der Bildung von “episodis- chem Ged¨achtnis”. Mathematische Modelle dieser Hirnregion k¨onnten wichtige Bei- tr¨age zum Verst¨andnis von Ged¨achtnisfunktionen leisten. Aus den Navigationsmechanismen bei Tieren gewonnene Einsichten k¨onnten sich auch beim Entwurf von autonomen Robotern als n¨utzlich erweisen. Die auf Erfahrung basierte Erstellung einer Umgebungskarte und deren Gebrauch f¨ur Navigationsprob- leme sind komplizierte und schwierige Aufgaben. Das Einbinden von Prinzipien aus der Tiernavigation k¨onnte helfen, fehlerunanf¨alligere und autonomere Roboter zu konzipieren. Das Hauptziel dieser Doktorarbeit liegt in der Entwicklung eines Modells f¨ur r¨aumliches Lernen bei der Ratte mittels eines neuronalen Netzwerks. Das System soll in der Lage sein, in einer realistischen Umgebung an einen versteckten Zielort zu navigieren. Das System wird auf einem mobilen Roboter getestet. Unser Modell besteht aus mehreren vernetzten Gehirnregionen, wobei jede durch eine Zellpopulation repr¨asentiert wird. Dabei werden funktionelle, anatomische und neurophysiologische Eigenschaften dieser Regionen ber¨ucksichtigt. Eine Population modelliert zum Beispiel die Ortszellen im Hippocampus. Ein Richtungssystem inter- agiert st¨andig mit den Ortszellen und stattet den Roboter mit einem Orientierungs- sinn aus. Eine Population von Aktionszellen kodiert die Richtung der n¨achsten Be- wegung. F¨ur die Zielgerichtete Navigation werden Assoziationen zwischen Ortszellen und Aktionszellen gelernt. Die vorliegende Studie erlaubt funktionelle und neurophysiologische Voraussagen uber¨ die modellierten Gehirnregionen. In unseren Experimenten erstellt der Roboter erfolgreich Umgebungskarten, mit deren Hilfe er sich lokalisieren kann. In kurzer Zeit lernt er, zum versteckten Ziel zu navigieren. v Contents 1Introduction 1 1.1 Motivation . ...................... 1 1.2 Methods . ................................ 3 1.3 Results and Contributions ........................ 4 1.4 Structure of the thesis . ........................ 4 2 Spatial representations in animals 7 2.1 The rat hippocampus . ...................... 8 2.1.1 Anatomy . ............................ 8 2.1.2 Hippocampal EEG . .................... 12 2.1.3 When do place cells fire? ..................... 12 2.2 Path integration . ...................... 15 2.3 Multimodal integration . ........................ 17 2.3.1 Superior colliculus . 18 2.4 Previous models of hippocampal place cells . ........... 20 2.4.1 Sharp (1991) . 20 2.4.2 Burgess et al. (1994) . 21 2.4.3 Wan, Redish and Touretzky (1994, 1996, 1997) . 23 2.4.4 Gaussier and colleagues (1998, 2000, 2002) . 24 2.4.5 Arleo et al. (2000, 2001) . 25 2.5 Models of multimodal integration . .................. 27 3Animal navigation 29 3.1 The basal ganglia . ........................... 29 3.2 Memory systems ............................. 31 3.3 Navigation strategies in animals . .................. 33 3.3.1 Homing by dead-reckoning . .................. 33 3.3.2 Taxon navigation . .................... 35 3.3.3 Praxic navigation . ...................... 35 3.3.4 Locale navigation . ...................... 35 3.4 Common navigation tasks . ...................... 36 vii viii CONTENTS 3.4.1 Water maze ............................ 36 3.4.2 Radial arm mazes . ..................... 38 3.4.3 Unrestricted arenas . ...................... 39 3.4.4 Linear tracks........................... 40 3.5 Previous models of rodent locale navigation . .......... 40 3.5.1 Burgess et al. (1994) . 40 3.5.2 Brown and Sharp (1995) . 41 3.5.3 Abbott and coworkers (1996, 1997) . 42 3.5.4 Gaussier and coworkers (1998, 2000, 2002) . 43 3.5.5 Foster et al. (2000) . 43 3.5.6 Arleo et al. (2000, 2001) . 45 4Reinforcement learning 47 4.1 Temporal difference learning . ..................... 50 4.2 Eligibility traces . 52 4.3 Continuous spaces and generalisation . ............... 53 4.4 Relation to animal learning....................... 53 5Sensory input 55 5.1 Test environments . .......................... 56 5.2 Visual processing . ....................... 57 5.2.1 Gabor filters . ..................... 60 5.2.2 Artificial retina .......................... 62 5.3 Tactile and vestibular input . 63 6Anewhippocampus model 67 6.1 Architecture . ............................... 67 6.2 Local view . ............................. 68 6.2.1 Multicolumn cells . ..................... 69 6.2.2 Column difference cells ...................... 73 6.3 Head direction system . ....................... 76 6.4 Allothetic place code . ....................... 79 6.5 Idiothetic place code . ....................... 82 6.6 Combined place code . ....................... 84 7Amodel of superior colliculus 91 7.1 Architecture . ............................... 92 7.2 Unimodal and multimodal cells . ................... 93 7.3 Learning the gating network ....................... 94 CONTENTS ix 8Anewlocalenavigation model 99 8.1 Architecture . ............................... 100 8.2 Action cells . ...................... 100 8.3 Learning and eligibility trace . 104 8.3.1 Neurophysiological evidence . .............. 104 8.3.2 Learning algorithm . ...................... 108 8.3.3 Validation in test environments . .............