Ce Document Est Le Fruit D'un Long Travail Approuvé Par Le Jury De Soutenance Et Mis À Disposition De L'ensemble De La Communauté Universitaire Élargie
Total Page:16
File Type:pdf, Size:1020Kb
AVERTISSEMENT Ce document est le fruit d'un long travail approuvé par le jury de soutenance et mis à disposition de l'ensemble de la communauté universitaire élargie. Il est soumis à la propriété intellectuelle de l'auteur. Ceci implique une obligation de citation et de référencement lors de l’utilisation de ce document. D'autre part, toute contrefaçon, plagiat, reproduction illicite encourt une poursuite pénale. Contact : [email protected] LIENS Code de la Propriété Intellectuelle. articles L 122. 4 Code de la Propriété Intellectuelle. articles L 335.2- L 335.10 http://www.cfcopies.com/V2/leg/leg_droi.php http://www.culture.gouv.fr/culture/infos-pratiques/droits/protection.htm Ecole´ doctorale IAEM Lorraine D´epartement de formation doctorale en informatique Apprentissage spatial de corr´elations multimodales par des m´ecanismes d'inspiration corticale THESE` pour l'obtention du Doctorat de l'universit´ede Lorraine (sp´ecialit´einformatique) par Mathieu Lefort Composition du jury Pr´esident: Jean-Christophe Buisson, Professeur, ENSEEIHT Rapporteurs : Arnaud Revel, Professeur, Universit´ede La Rochelle Hugues Berry, CR HDR, INRIA Rh^one-Alpes Examinateurs : Beno^ıtGirard, CR HDR, CNRS ISIR Yann Boniface, MCF, Universit´ede Lorraine Directeur de th`ese: Bernard Girau, Professeur, Universit´ede Lorraine Laboratoire Lorrain de Recherche en Informatique et ses Applications | UMR 7503 Mis en page avec la classe thloria. i À tous ceux qui ont trouvé ou trouveront un intérêt à lire ce manuscrit ou à me côtoyer. ii iii Remerciements Je tiens à remercier l’ensemble de mes rapporteurs, Arnaud Revel et Hugues Berry, pour avoir accepter de prendre le temps d’évaluer mon travail et de l’avoir commenté de manière constructive malgré les délais relativement serrés. Je remercie également mes examinateurs, Benoît Girard et Jean-Christophe Buisson, ce dernier ayant également accepté de présider mon jury, pour l’ensemble des remarques qu’ils ont pu faire durant ma soutenance afin d’améliorer mon travail. Je tiens également à rendre hommage à Bernard, mon directeur de thèse, et Yann, mon codirecteur officieux, pour l’encadrement de mon travail. Tous les conseils et les avis qu’ils m’ont donné m’ont permis de commencer à tracer mon propre chemin dans le monde des neurosciences computationnelles et plus généralement dans celui de la recherche. Le travail présenté dans ce manuscrit, bien que n’étant signé que de mon nom, est le résultat de multiples acteurs par les discussions constructives que j’ai pu avoir avec eux et qui m’ont apporté une vision d’autres domaines ou tout simplement une solution technique à mes problèmes. L’ensemble des membres présents et passés de l’équipe Cortex que j’ai pu cotoyé rentre bien évidemment dans ce descriptif (Jérémy, Nicolas, Wahiba, Thierry, ...). Je tiens ici à remercier tout particulièrement trois personnes qui ont eu un rôle prépondérant dans mes travaux. Premièrement, Thomas Girod qui m’a initié aux formidables propriétés de la règle BCM que j’ai massivement utilisé dans mes travaux et qui m’a évité bien des écueils. Deuxièmement, Jean-Charles Quinton (mon amant de Majorque) qui, au cours de nos multiples discussions passionnantes, m’a apporté un nouveau regard sur mon travail et m’a fait découvrir le monde merveilleux des théories sensori-motrices. Troisièmement, Frédéric Alexandre qui m’a éclairé à de nombreuses reprises les méandres du fonctionnement cortical et qui n’a pas son égal pour trouver une référence adéquate. Je tiens également à remercier chaleureusement toutes les personnes que j’ai pu côtoyé durant ma vie sociale extra professionnelle (bien que dans notre domaine vie sociale et vie professionnelle se recoupent fortement) pour tout ce qu’elle ont pu m’apporter. Je tiens en particulier à mentionner Geoffray, Vincent et Maxime (mon Sam) qui m’ont initié à la vie nancéienne, aux jeux de sociétés et au fromage et ont également eu un rôle majeur durant ma période difficile de rédaction de thèse. Je tiens enfin à remercier tout particulièrement Isabelle pour ce qu’elle m’apporte depuis 4 ans et pour m’avoir (sup)porté tout ce temps et en particulier pendant ma rédaction. iv Table des matières Introduction 3 I Multimodalité et environnement 9 1 Structure corticale et traitement de l’information 11 1.1 Les neurones . 11 1.1.1 Description biologique . 11 1.1.2 Description fonctionnelle et modélisation . 12 1.2 La colonne corticale . 15 1.2.1 Description biologique . 15 1.2.2 Description fonctionnelle et modélisation . 17 1.3 Les aires fonctionnelles . 19 1.3.1 Description biologique . 19 1.3.2 Description fonctionnelle et modélisation . 22 1.4 Plasticité corticale . 24 1.4.1 Description biologique . 24 1.4.2 Description fonctionnelle . 25 1.5 Conclusion . 26 2 La multimodalité au cœur de notre perception du monde 29 2.1 Approches sensorimotrices et intégration multimodale . 29 2.1.1 Notion d’affordance . 30 2.1.2 Perception active . 30 2.1.3 Multimodalité . 31 2.2 Manifestations multimodales chez l’homme à un niveau psychologique . 31 2.2.1 Modalités concordantes spatialement et temporellement . 32 2.2.2 Modalités non concordantes spatialement ou temporellement . 33 2.2.3 La synesthésie : une intégration multimodale inhabituelle . 35 2.3 Les mécanismes corticaux multimodaux au niveau du neurone . 35 2.3.1 Réponse neuronale . 35 2.3.2 Évolution de la réponse neuronale . 36 v vi Table des matières 2.4 Les mécanismes corticaux multimodaux au niveau du cortex . 37 2.4.1 Les aires multimodales . 37 2.4.2 Au niveau du cortex . 40 2.5 Conclusion . 41 3 Modèle bio inspiré pour l’apprentissage multimodal 43 3.1 Cadre général et modèles existants . 44 3.1.1 Cadre général . 44 3.1.2 Modèles appliqués en robotique . 45 3.1.3 Modèles en neurosciences . 47 3.2 Modèle SOMMA . 49 3.2.1 Problématique . 49 3.2.2 Principes généraux . 51 3.2.3 Description générale . 53 3.3 Conclusion . 56 II Apprentissage topologique de corrélations monomodales 57 4 L’auto-organisation comme structure de l’information monomodale 61 4.1 Cartes auto-organisatrices . 62 4.1.1 Fonctionnement . 62 4.1.2 Propriétés . 63 4.1.3 Cartes de Kohonen . 63 4.1.4 Utilisation des cartes auto-organisatrices dans notre architecture . 66 4.2 Théorie des champs neuronaux continus . 68 4.2.1 Description . 68 4.2.2 Propriétés . 69 4.2.3 La CNFT comme étage de sélection d’une carte de Kohonen . 71 4.3 Conclusion . 79 5 L’étage sensoriel comme support actif de l’information sensorielle 81 5.1 Règles de plasticité hebbiennes . 81 5.1.1 La règle de Hebb et de Oja . 82 5.1.2 La règle CLO, une règle hebbienne bidirectionnelle . 83 5.1.3 La STDP . 83 5.2 La règle BCM et ses variantes . 84 5.2.1 Description . 85 5.2.2 Propriétés . 87 5.2.3 Intégration de la règle BCM ... 93 5.3 Modulation de l’activité dans la règle BCM . 95 5.3.1 Description . 95 5.3.2 Propriétés . 96 vii 5.3.3 Utilisation de la règle BCM modulée comme étage de sélection . 97 5.4 Conclusion . 100 6 Le modèle SOMMA dans un cadre monomodal 105 6.1 Modèle . 106 6.1.1 Étage sensoriel . 106 6.1.2 Étage perceptif . 110 6.2 Expérimentations . 112 6.2.1 Protocole . 113 6.2.2 Dynamique de l’auto-organisation . 114 6.2.3 Auto-organisation de corrélations . 117 6.2.4 Représentation de l’environnement . 119 6.2.5 Généralisation de la représentation . 121 6.2.6 Réduction de dimensionnalité . 122 6.2.7 Robustesse . 123 6.2.8 Images naturelles . 124 6.3 Conclusion . 128 III Apprentissage topologique de corrélations multimodales 129 7 La topographie comme structure de l’information multimodale 133 7.1 Mise en relation multimodale . 134 7.1.1 Interconnexion des cartes modales . 134 7.1.2 Influence sur les perceptions modales . 134 7.2 Apprentissage des corrélations multimodales . 136 7.2.1 Apprentissages modaux contraints . 136 7.2.2 Plasticité des connexions multimodales . 140 7.3 Emergence d’une perception multimodale unifiée . 143 7.3.1 Stimuli modaux corrélés multimodalement . 143 7.3.2 Stimuli modaux proches d’une corrélation multimodale . 143 7.3.3 Stimuli relevant de corrélations multimodales différentes . 145 7.4 Généralisation des corrélations multimodales . 145 7.5 Conclusion . ..