Ecog Signal Processing for Brain Computer Interface with Multiple Degrees of Freedom for Clinical Application Marie-Caroline Schaeffer
Total Page:16
File Type:pdf, Size:1020Kb
ECoG signal processing for Brain Computer Interface with multiple degrees of freedom for clinical application Marie-Caroline Schaeffer To cite this version: Marie-Caroline Schaeffer. ECoG signal processing for Brain Computer Interface with multiple degrees of freedom for clinical application. Medical Physics [physics.med-ph]. Université Grenoble Alpes, 2017. English. NNT : 2017GREAS026. tel-01763451 HAL Id: tel-01763451 https://tel.archives-ouvertes.fr/tel-01763451 Submitted on 11 Apr 2018 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. THÈSE Pour obtenir le grade de DOCTEUR DE LA COMMUNAUTE UNIVERSITE GRENOBLE ALPES Spécialité : MBS – Modèles, méthodes et algorithmes en biologie, santé et environnement Arrêté ministériel : 25 mai 2016 Présentée par Marie-Caroline SCHAEFFER Thèse dirigée par Tetiana AKSENOVA (EDISCE), CEA préparée au sein du Laboratoire CLINATEC dans l'École Doctorale Ingénierie pour la Santé, la Cognition et l’Environnement Traitement du signal ECoG pour Interface Cerveau Machine à grand nombre de degrés de liberté pour application clinique Thèse soutenue publiquement le 6 Juin 2017 , devant le jury composé de : Prof. Alim-Louis BENABID Président Dr. Laurent BOUGRAIN Membre Prof. François CABESTAING Rapporteur Dr. Marco CONGEDO Membre Prof. Saïd MOUSSAOUI Rapporteur Prof. Laura SACERDOTE Membre i Acknowledgements I feel very grateful to the members of my committee, Prof. Alim-Louis BENABID, Dr. Laurent BOUGRAIN, Dr. Marco CONGEDO and Prof. Laura SACERDOTE. My special thanks go to Prof. François CABESTAING and Prof. Saïd MOUSSAOUI for having accepted to act as reporters of this doctoral work. My deepest gratitude goes to Dr. Tetiana AKSENOVA who has supervised this doctoral work. I wouldn’t have been able to complete this work without her constant guidance, insight, availability, patience and kindness. It has been a great privilege to work and progress under her supervision. I would also like to thank Guillaume CHARVET who co-supervised this doctoral work, and Prof. Alim-Louis BENABID and Corinne MESTAIS who head CLI- NATEC’s BCI project. Their suggestions have always been helpful and illuminating. It is a great pleasure to me to extend my thanks to all the associates of CLINATEC with whom I worked, had insightful discussions with or with whom I simply enjoyed meals or coffee breaks. Their presence has helped me along more than once. Finally, I would like to thank my family and friends for their unwavering support throughout these last three years. iii Preface The present doctoral work, which has been supervised by Dr. T. AKSENOVA and co-supervised by G. CHARVET, has been prepared at CLINATEC, an Edmond J. SAFRA Biomedical research centre located on the MINATEC Campus at CEA/LETI in Grenoble. CLINATEC associates medical research and technological innovation to translate new solutions to patients, with the purpose of accelerating the development and clinical validation of innovative medical devices. This doctoral work has been completed within the framework of CLINATEC’s motor Brain-Computer-Interface project, which is supervised by Prof. A.-L. BENABID, C. MESTAIS and G. CHARVET. The goal of this project is to bring the proof of concept that it is feasible for a tetraplegic subject to control complex effectors, for example a 4-limb exoskeleton, thanks to the monitoring and decoding of his brain activity. CLINATEC’s "BCI and Tetraplegia" 5-year clinical trial has recently been authorized by the French regulatory agencies. Signal processing challenges specific to the clinical deployment of CLINATEC’s Brain-Computer-Interface system, namely asynchronous mono- limb decoding, asynchronous sequential multi-limb decoding and decoding accuracy during active states, have been addressed in the present doctoral thesis. Parts of the presented work have been published in journals or conference proceedings, or exposed during oral presentations: Journal Schaeffer, M. C., & Aksenova, T. (2017). Switching Markov Decoders for Asyn- chronous Trajectory Reconstruction from ECoG signals in Monkeys for BCI Applica- tions. Journal of Physiology-Paris. doi: 10.1016/j.jphysparis.2017.03.002; Published online: 10 March 2017. International conference proceedings Schaeffer, M. C., & Aksenova, T. (2016, September). Hybrid Trajectory Decoding from ECoG Signals for Asynchronous BCIs. In International Conference on Artificial Neural Networks, Barcelona, Spain (pp. 288-296). Springer International Publishing. Patent pending Schaeffer, M. C., & Aksenova, T. (June 2016). Interface neuronale directe à décodage continu utilisant un mélange markovien d’experts. Oral communications M.C. Schaeffer, T. Aksenova. Markovian Mixture of Experts for 3D wrist movement decoding from ECoG recordings. GDR 2904 Multielectrode systems for Neuroscience: 6th annual meeting, 5-8 Jan 2016, Grenoble-Autrans. (speaker) iv M.C. Schaeffer, E. Labyt, V. Rohu, N. Tarrin, I. Vergara, S. Cokgungor, A. Eliseyev, G. Charvet, C. Mestais, A.L. Benabid, T. Aksenova. Hand movement decoding from magnetoencephalographic signals for BCI applications. Société de Neurophysiologie Clinique de Langue Française (SNCLF) 2015, 1-3 Juillet 2015, Grenoble. M.C. Schaeffer, S. Cokgungor, N. Tarrin, V. Rohu, E. Labyt, C. Mestais, A.L. Ben- abid, T. Aksenova. Decoding of 3D hand movements from Magnetoencephalography recordings of brain neuronal activity: preliminary results. BioHealth Computing Workshop, 1-3 Septembre 2014, Grenoble. (speaker) v Résumé Introduction Les Interfaces Cerveau-Machine (ICM) sont des systèmes qui per- mettent à des patients souffrant d’un handicap moteur sévère d’interagir avec leur environnement en utilisant leur activité cérébrale pour contrôler des effecteurs ex- térieurs. Plusieurs étapes sont généralement nécessaires pour convertir l’activité cérébrale du patient en commandes permettant de contrôler un effecteur extérieur. Des caractéristiques spécifiques aux intentions de l’utilisateur sont tout d’abord extraites de son activité cérébrale, préalablement acquise et digitalisée. Un décodeur est appliqué sur ces caractéristiques cérébrales, et permet de les convertir en esti- mations des intentions du sujet. Après une étape optionnelle de post-traitement susceptible d’améliorer la qualité des estimations, les intentions décodées du sujet sont converties en commandes utilisées pour contrôler le ou les effecteur(s) de l’ICM, par exemple des orthèses ou des prothèses de membres inférieurs ou supérieurs dans le cas d’ICM motrices. L’objectif de l’ICM motrice de CLINATEC est de permettre à des patients tétraplégiques de recouvrer de façon chronique une indépendance motrice en mod- ulant leur activité électrocorticographique (ECoG) pour contrôler des effecteurs complexes tels qu’un exosquelette 4 membres. Des challenges spécifiques au dé- ploiement clinique d’ICMs multi-effecteurs ont été étudiés dans la présente thèse de doctorat. Un problème majeur des ICMs cliniques est la capacité à proposer aux utilisateurs un contrôle asynchrone sur l’effecteur. Contrairement aux ICMs synchrones qui sont périodiquement contrôlables par les utilisateurs et requièrent donc la présence d’un opérateur pour activer et désactiver le système, les ICMs asynchrones sont disponibles en continu. Lorsqu’une ICM fonctionne en mode asynchrone, il est particulièrement souhaitable de limiter des activations erronées de l’effecteur pendant les périodes dites de Non-Contrôle (NC). Un deuxième challenge résulte de la possible présence d’un effecteur multi-membres, qui rend nécessaire la généralisation du contrôle asynchrone mono-membre au cas multi-membres. Une stratégie d’activation séquentielle a été considérée dans la présente thèse, avec le but d’améliorer la robustesse du système et de faciliter le contrôle cérébral. Au-delà de la limitation des activations erronées du système, il est nécessaire d’éviter des mouvements parallèles résiduels d’effecteurs momentanément non-contrôlés. Finalement, la capacité des utilisateurs à exécuter des mouvements contrôlés par leur activité cérébrale est compromise quand les estimations de leurs intentions de mouvements ne sont pas suffisamment proches de leurs véritables intentions. La précision du décodage pendant les périodes dites de Contrôle Intentionnel (Intentional Control, IC) est donc essentielle. Décodeurs pour ICM motrices précises et asynchrones Différents outils al- gorithmiques sont utilisés dans la communauté des ICMs pour assurer une conversion pertinente des signaux cérébraux des sujets en estimations de leurs intentions, tout particulièrement des modèles permettant d’estimer la valeur de variables discrètes (classifieurs) ou continues (modèles de régression ou filtres bayésiens) à partir des vi signaux cérébraux. Deux stratégies de décodage sont principalement exploitées par les ICMs motrices. La première consiste à demander au sujet d’effectuer des tâches mentales (tout particulièrement des imaginations motrices ou des tâches cognitives, par exemple des calculs mentaux), qui sont généralement chacune associées à une direction possible de l’effecteur. La seconde vise à directement