Neural Bases of Variable Binding in Symbolic Representations: Experimental and Modelling Exploration
Total Page:16
File Type:pdf, Size:1020Kb
Neural bases of variable binding in symbolic representations : experimental and modelling exploration Martín Pérez-Guevara To cite this version: Martín Pérez-Guevara. Neural bases of variable binding in symbolic representations : experimental and modelling exploration. Neurons and Cognition [q-bio.NC]. Université Sorbonne Paris Cité, 2017. English. NNT : 2017USPCB082. tel-02134664 HAL Id: tel-02134664 https://tel.archives-ouvertes.fr/tel-02134664 Submitted on 20 May 2019 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. UNIVERSITÉ PARIS DESCARTES École doctorale N° 158 (ED3C) Cerveau-Cognition-Comportement Neurospin / Unicog U-992 / Équipe de neuroimagerie linguistique Bases neuronales de binding dans des représentations symboliques Exploration expérimentale et de modélisation Par Martín Pérez-Guevara Spécialité de doctorat : Neurosciences cognitives et informatiques Dirigée par Christophe Pallier Présentée et soutenue publiquement le 29 Novembre 2017 Devant un jury composé de : Dr. Xavier ALARIO Rapporteur Directeur de recherche, Universite Centre Saint-Charles. Marseille, France. Dr. Sander BOHTE Rapporteur Chargé de recherche, CWI. Amsterdam, The Netherlands. Dr. Emmanuel DUPOUX Examinateur Directeur de recherche, École des Hautes Etudes en Sciences Sociales. Paris, France. Dr. Marc DE KAMPS Examinateur, Président du jury Professeur, University of Leeds. Dr. Christophe PALLIER Directeur de thèse Directeur de recherche INSERM/CEA/SAC/DSV/DRM/Neurospin center. Saclay, France. martín pérez-guevara UNIVERSITY OF PARIS DESCARTES Doctoral School N° 158 (ED3C) Brain-Cognition-Behavior Neurospin / Unicog U-992 / Language neuroimaging team Neural bases of variable binding in symbolic representations Experimental and modelling exploration By Martín Pérez-Guevara PhD Specialty : Cognitive and Computational Neuroscience Directed by Christophe Pallier Presented and defended publicly the 29th of November 2017 Jury composition : Dr. Xavier ALARIO Reviewer Research Director, Universite Centre Saint-Charles. Marseille, France. Dr. Sander BOHTE Reviewer Research Associate, CWI. Amsterdam, The Netherlands. Dr. Emmanuel DUPOUX Examiner Research Director, École des Hautes Etudes en Sciences Sociales. Paris, France. Dr. Marc DE KAMPS Examiner, Jury President Professor, University of Leeds. Dr. Christophe PALLIER Doctoral advisor Research Director INSERM/CEA/SAC/DSV/DRM/Neurospin center. Saclay, France. Acknowledgements I want to thank Christophe Pallier for giving me the opportunity to develop my scientic thinking under his supervision, for his intellectual advice and the great mood he brought to the lab everyday with his insights and jokes. Also a substantial part of this work was made possible thanks to an intense exchange with Marc De Kamps, I am deeply grateful for all the dedication, supervision and assistance he oered. I want to thank too the reviewers, Xavier Alario and Sander Bohte, and the examiner, Emmanuel Dupoux, for kindly agreeing to take the time to evaluate this work. In addition I want to thank Bertrand Thirion and Gaël Varoquaux, that gave me the opportunity to grow as a software developer and scientist in the open source and open science community, it was a great complementary experience to my PhD. I thank Stanislas Dehaene, for welcoming me in the Unicog lab and for the several interesting discussions we had. I also want to mention Paul Smolensky for the brief but rich exchanges we had. Thanks to him the rst projects of this PhD got kickstarted. I can not forget to mention my partner Elodie Doger de Speville, that gave me an incredible amount of personal and professional support in the worst and best moments, specially stoically in the worst. Several other colleagues in the lab, Florent Meyniel, Matthew Nelson and Thomas Hannagan, and several friends, Andres Hoyos, Darinka Trubutschek and Valentina Borghesani, kindly assisted this work as well and I am thankful to you all for your support. Considering the experimental part of this work, the Manip radio team were very helpful, I dont imagine how the acquisitions would have gone without their constant assistance. I thank you too. Of course I also thank all other friends and colleagues in Unicog and Parietal, that in one way or another, contributed to this work or enriched with their company my PhD experience. martín pérez-guevara neural bases of variable binding in symbolic representations Doctoral School N° 158 (ED3C) Brain-Cognition-Behavior Résumé – Bases neuronales de binding dans des représentations symboliques Le travail présenté dans cette thèse fait partie d’un programme de recherche qui vise à comprendre comment le cerveau traite et représente les structures symboliques dans des domaines comme le langage ou les mathématiques. L’existence de structures composées de sous-éléments, tel que les morphèmes, les mots ou les phrases est très fortement suggérée par les analyses linguistiques et les données expérimentale de la psycholinguistique. En revanche, l’implémentation neuronale des opérations et des représentations qui permettent la nature combinatoire du langage reste encore essentiellement inconnue. Certaines opérations de composition élémentaires permettant une représentation interne stable des objets dans le cortex sensoriel, tel que la reconnaissance hiérarchique des formes, sont aujourd’hui mieux comprises[120]. En revanche, les modèles concernant les opérations de liaisons(binding) nécessaires à la construction de structures symboliques complexes et possiblement hiérarchiques, pour lesquelles des manipulations précises des composants doit être possible, sont encore peu testés de façon expérimentale et incapables de prédire les signaux en neuroimagerie. Combler le fossé entre les données de neuroimagerie expérimentale et les modèles proposés pour résoudre le problème de binding est une étape cruciale pour mieux comprendre les processus de traitements et de représentation des structures symboliques. Au regard de ce problème, l’objectif de ce travail était d’identier et de tester expérimentalement les théories basées sur des réseaux neuronaux, capables de traiter des structures symboliques pour lesquelles nous avons pu établir des prédictions testables, contre des mesures existantes de neuroimagerie fMRI et ECoG dérivées de tâches de traitement du langage. Nous avons identié deux approches de modélisation pertinentes. La première approche s’inscrit dans le contexte des architectures symboliques vectorielles (VSA), qui propose une modélisation mathématique précise des opérations nécessaires pour représenter les structures dans des réseaux neuronaux articiels. C’est le formalisme de Paul Smolensky[172], utilisant des produit tensoriel (TPR) qui englobe la plupart des architectures VSA précédemment proposées comme, par exemple, les modèles d’Activation synchrones[170], les représentations réduites holographique[158], et les mémoires auto-associatives récursives[35]. La seconde approche que nous avons identiée est celle du "Neural Blackboard Architecture" (NBA), développée par Marc De Kamps et Van der Velde[187]. Elle se démarque des autres en proposant une implémentation des mécanismes associatifs à travers des circuits formés par des assemblages de réseaux neuronaux. L’architecture du Blackboard repose sur des changements de connectivité transitoires des circuits d’assemblages neuronaux, de sorte que le potentiel de l’activité neurale permise par les mécanismes de mémoire de travail après un processus de liaison, représente implicitement les structures symboliques. Dans la première partie de cette thèse, nous détaillons la théorie derrière chacun de ces modèles et les comparons, du point de vue du problème de binding. Les deux modèles sont capables de répondre à la plupart des dés théoriques posés par la modélisation neuronale des structures symboliques, notamment ceux présentées par Jackendo[99]. Néanmoins, ces deux classes de modèles sont très diérentes. Le TPR de Smolenky s’appuie principalement sur des considérations spatiales statiques d’unités neurales articielles, avec des représentations explicites complètement distribuées et spatialement stables mises en œuvre par des vecteurs. La NBA en revanche, considère les dynamiques temporelles de décharge de neurones articiels, avec des représentations spatialement instables implémentées par des assemblages neuronaux. Dans la deuxième partie de la thèse, nous testons empiriquement le principe de superposition qui stipule que l’activité martín pérez-guevara associé à une structure est la somme des activités de ses parties. Ceci est une des hypothèses les plus cruciales du TPR de Smolensky. An d’obtenir un ensemble de données pertinent pour tester ce principe, nous avons créé une expérience IRMf dans laquelle les participants lisaient ou entendaient des pseudomots composés de deux syllables CV. Nous avons employé un approche de décodage de l’activité BOLD an d’analyser comment ces bisyllabes sont encodées dans diverses régions cérébrale. Nous avons obtenu de bon scores de classication dans certaines régions sensorielles et nous