The Braincon Platform Software – A Closed-Loop Brain-Computer Interface Software for Research and Medical Applications Dissertation zur Erlangung des Doktorgrades der technischen Fakultät der Albert-Ludwigs-Universität Freiburg im Breisgau vorgelegt von Jörg Daniel Fischer aus Oberndorf am Neckar Freiburg 08/2014 Dekan Prof. Dr. Georg Lausen Referenten Prof. Dr. Gerhard Schneider (Erstgutachter) Prof. Dr. Thomas Stieglitz (Zweitgutachter) Datum der Promotion 11. Mai 2015 ii iii Comment on References This work contains text and figures from Fischer, J., Milekovic, T., Schneider, G. and Mehring, C. (2014), “Low-latency multi-threaded pro-cessing of neuronal signals for brain-computer interfaces”, Frontiers in Neuroengineering, Vol. 7, p. 1, doi 10.3389/fneng.2014.00001 that were slightly adapted to fit in smoothly with the whole text. Such text passages are marked in cursive font in the text body and in cursive font in figure captions. This work also contains text and figures from Kohler, F., Fischer, J., Gierthmuehlen, M., Gkogkidis, A., Henle, C., Ball, T., Wang, X., Rickert, J., Stieglitz, T. and Schuettler, M., Long-term in vivo validation of a fully-implantable, wireless brain-computer interface for cortical recording and stimulation, in preparation that were slightly adapted to fit in smoothly with the whole text. Such text passages are marked in cursive font in the text body and in cursive serif font in figure captions. iv Zusammenfassung Gehirn-Computer Schnittstellen (brain-computer interfaces, BCIs) bieten eine vielversprechende Möglichkeit zur Wiederherstellung der Bewegungsfähigkeit von schwerstgelähmten Menschen, zur Kommunikation mit Patienten, die in ihrem eigenen Körper gefangen sind oder zur Verbesserung der Wirkung von Maßnahmen zur Schlaganfallsrehabilitation. Deshalb hat dieser Forschungsbereich in den letzten Jahren großes Interesse erhalten und viele Forschungsstudien erzielten gute Ergebnisse. Jedoch haben BCIs nicht den Übergang aus der Forschung zum klinischen und täglichen Heimgeb- rauch vollzogen. Ein medizinisches BCI muss Gehirnaktivität mindestens über mehrere Jahre stabil und sicher aufzeichnen können und dabei im Alltagsgebrauch minimale Vorbereitungszeit benötigen. Außerdem muss ein medizinisches BCI sicher für Patienten und Benutzer sein und muss als Medizin- produkt für die Verwendung am Menschen zugelassen sein. Die beiden zuletzt genannten zwei regu- latorischen und sicherheitsrelevanten Anforderungen bedingen einen enormen Anstieg des Entwick- lungs- und Testaufwands. Das Ziel von Braincon ist es, ein universelles, medizinisches BCI zu sein, d.h. anwendbar für eine Viel- zahl von Forschungs- und medizinischen Anwendungen, bei gleichzeitiger Reduzierung des Aufwands für Testung und für die Einhaltung der regulatorischen Vorgaben. Braincon besteht aus einem Im- plantat zum Aufzeichnen von Gehirnsignalen und zur elektrischen Stimulation von Gehirnarealen sowie einer Software zur Verarbeitung von Gehirnsignalen zur Laufzeit, um die Stimulationsfunktion des Implantats zu steuern. Diese Dissertation konzentriert sich auf die Software von Braincon, d.h. die Braincon Plattform Soft- ware, und stellt eine allgemeine, flexible und verifizierbare BCI-Software-Architektur mit einer „mul- ti-threaded“ Filter-Pipeline für die Verarbeitung von Gehirnsignalen mit niedriger Latenz. Zudem wird ein Leitfaden zu den gesetzlichen und regulatorischen Rahmenbedingungen bei der Entwicklung von medizinischer Software gegeben, zusammen mit einer Beschreibung der Teststrategie und den Test- werkzeugen, die für die regulatorische Verifizierung der Braincon Plattform Software verwendet wurden. Die Rechenlast und die Latenz, d.h. die Zeit die ein BCI-System für die Reaktion auf eine Be- nutzereingabe benötigt, von verschiedenen Implementierungen der Filter-Pipeline werden für eine unterschiedliche Anzahl von Threads sowie für typische Merkmalsextraktions- und Dekodierungsalgo- rithmen gemessen. Die Ergebnisse zeigen, dass BCIs im Allgemeinen von der hier vorgestellten Parallelisierung profitieren können: zum einen durch die Reduzierung von Latenz, zum anderen durch Erhöhung der Aufzeichnungskanäle und Merkmale, die zur Dekodierung verwendet werden können jenseits der Menge, die durch einen einzelnen „thread“ verarbeitet werden kann. Die hier vorgestellte Software-Architektur wurde erfolgreich in einer BCI Studie am Menschen einge- setzt, welche deren Fähigkeit zur Online-Dekodierung von Gehirnsignalen zur Laufzeit belegt. Des Weiteren wurde Braincon in einer in vivo Studie im Schafsmodell erprobt. Die Ergebnisse zeigen, dass die von Braincon aufgezeichneten Gehirnsignale mit den von einem kommerziell erhältlichen, nicht implantierbaren Verstärker gemessenen Gehirnsignalen vergleichbar sind. Ein Schaf wurde chronisch implantiert und belegte die erfolgreiche Verifizierung von Braincon‘s Mess- und Stimulationsfunktio- nen in vivo. Zusammenfassend ist die Braincon Plattform Software ein flexibles und leistungsstarkes Werkzeug für die BCI Forschung und hat das Potenzial, bei minimalem regulatorischen Aufwand, die Entwicklung von BCI-basierten Behandlungsmethoden für den Menschen zur fördern. v Abstract Brain-Computer Interfaces (BCIs) provide an auspicious opportunity for restoring movement to se- verely paralyzed persons, enabling communication with locked-in patients or improving efficacy in stroke rehabilitation. Therefore, this area of research has received great in interest in recent years and many research studies yielded excellent results. However, BCIs did not make the transition from research to clinical application and everyday home use. A medical BCI needs to provide the means for recording neural activity in a stable and safe manner over several years while requiring minimal preparation time for everyday use. In addition, a medical BCI has to be safe for patients and users and needs to be certified as a medical device for use with human patients. These latter two regulato- ry and safety requirements cause an enormous increase of effort during development and testing. The goal of Braincon is to be a general-purpose medical BCI (i.e., applicable to a wide range of re- search and medical indications) while reducing the effort for testing and regulatory compliance. Braincon consists of an implant for recording of neuronal signals and for electrical stimulation of brain areas and a software that processes neural data at run-time to control the implant's electrical stimulation functionality. This thesis focuses on the software component of Braincon (i.e., the Braincon Platform Software) and proposes a general, flexible and verifiable BCI software architecture with a filter pipeline for low- latency multi-threaded processing of neuronal signals. In addition, a guide on the juristic and regula- tory environment for the development of medical software is given together with a description of the test strategy and test tools employed for a regulatorily compliant verification of the Braincon Platform Software. The computational load and latency (i.e., the time that a BCI system needs to re- act to user input) are measured for different filter pipeline implementations, for different numbers of threads and for typical feature extraction and decoding algorithms from the BCI domain. Results show that BCIs in general can benefit from the proposed parallelization: firstly, by reducing the laten- cy and secondly, by increasing the amount of recording channels and signal features that can be used for decoding beyond the amount which can be handled by a single thread. The proposed software architecture was successfully employed in a human BCI study to show its capability for online decod- ing of neuronal signals. Furthermore, Braincon was put to the test in an in vivo sheep study. Results show that the neuronal signals recorded by Braincon are comparable to the signals recorded by a commercially available, non-implantable recording device. One sheep was chronically implanted, yielding successful verification of Braincon’s in vivo measurement and stimulation capabilities. In conclusion, the Braincon Platform Software is a flexible and powerful tool for BCI research and has the potential to promote the development of BCI-based treatments for human patients with minimal regulatory effort. vi To my family. vii Acknowledgements First and foremost, I would like to express my deep gratitude to my supervisor, Professor Dr. Gerhard Schneider for the helpful discussions and his excellent scientific guidance. Without his encourage- ment, patience and invaluable experience, this thesis would not have been completed. I will miss our regular meetings on Wednesday, 11am. I would also like to thank Professor Dr. Gerhard Schneider, Professor Dr. Thomas Stieglitz, Professor Dr. Ulrich Egert and Professor Dr. Bernd Becker for serving as committee members and for turning my defense into a positive experience which I will always remember. I am very grateful to my fellow researchers in the research groups of Professor Dr. Carsten Mehring, Professor Dr. Thomas Stieglitz and Dr. Tonio Ball. All of them have been a great source of inspiration during the long and sometimes gloomy road to the completion of this thesis, but also provided alter- native perspectives on the problems at hand and valuable scientific advice. During my research I had the privilege to dive into fields of knowledge not typically encountered in computer science. Therefore, I would like to thank Professor Dr. Mehring and Dr. Tomislav Milekovic who introduced me into the exciting