New Methods to Improve Large-Scale Microscopy Image Analysis with Prior Knowledge and Uncertainty Zur Erlangung des akademischen Grades Doktor der Ingenieurwissenschaften der Fakultat¨ fur¨ Maschinenbau Karlsruher Institut fur¨ Technologie (KIT) genehmigte Dissertation arXiv:1608.08471v1 [cs.CV] 30 Aug 2016 von Johannes Stegmaier, M.Sc. geboren am 16. November 1985 in Stuttgart Hauptreferent: apl. Prof. Dr.-Ing. Ralf Mikut Korreferenten: Prof. Dr. Uwe Strahle¨ Prof. Dr. Jan G. Korvink Tag der mundlichen¨ Prufung:¨ 3. Juni 2016 This document is licensed under the Creative Commons Attribution – Share Alike 3.0 DE License (CC BY-SA 3.0 DE): http://creativecommons.org/licenses/by-sa/3.0/de/ Zusammenfassung Jungste¨ Entwicklungen im Bereich der mehrdimensionalen Mikroskopie bieten ein großes Potential fur¨ die Beantwortung vielerlei Fragestellungen in wissen- schaftlichen Bereichen. Beispielsweise bieten neue Verfahren wie die zeitauf- geloste¨ 3D Konfokal- und Lichtscheibenmikroskopie oder die Transmissions- elektronenmikroskopie weitreichende Moglichkeiten¨ im Bereich der Biologie, die von der ganzheitlichen Analyse embryonaler Entwicklung uber¨ die Be- trachtung subzellularer¨ Prozesse bis hin zur Rekonstruktion von Verschaltun- gen im Nervensystem von Modellorganismen reichen. Die dabei routinemaßig¨ anfallenden Datenmengen im Terabyte-Bereich konnen¨ allerdings nur unzurei- chend manuell ausgewertet werden und eine wichtige Komponente fur¨ die er- folgreiche Auswertung solcher bildbasierter Experimente ist daher eine großt-¨ mogliche¨ Anzahl von Analyseschritten durch Bildanalyseverfahren zu automa- tisieren. Bestehende Verfahren fur¨ die automatische Bildauswertung sind hier- bei jedoch meist nicht unmittelbar auf die großen Datenmengen anwendbar und die Analysen mussen¨ daher auf kleine Auszuge¨ der Daten beschrankt¨ wer- den, falls die enormen Anforderungen an Rechenleistung und Verarbeitungs- zeit nicht gewahrleistet¨ werden konnen.¨ Zudem wird vorhandenes a priori Wis- sen oft nur unzureichend in automatische Verfahren eingebettet und somit ein bedeutender Teil an Zusatzinformationen vernachlassigt,¨ der zu einer verbes- serten Ergebnisqualitat¨ beitragen kann. Die Hauptbeitrage¨ der vorliegenden Arbeit sind ein neues Konzept zur Abscha-¨ tzung und Weiterleitung von Unsicherheiten in Bildverarbeitungsketten sowie die Entwicklung neuer Segmentierungsverfahren, die fur¨ eine effiziente Ana- lyse von 3D Mikroskopbildern im Terabyte-Bereich eingesetzt werden konnen.¨ Basierend auf unscharfen Mengen (engl. fuzzy sets) wurde zur Verfugung¨ ste- hendes Vorwissen systematisch in eine mathematische Reprasentation¨ uberf¨ uh-¨ rt, die anschließend fur¨ effiziente Datenselektion, eine Unsicherheitsabschat-¨ zung von automatisch extrahierten Daten sowie fur¨ eine gezielte Verbesserung von Bildverarbeitungsoperatoren eingesetzt werden konnte. Um den Bedarf an effizienten Bildverarbeitungsalgorithmen zu reduzieren wurden drei neue Seg- mentierungsalgorithmen entwickelt, die sich fur¨ eine Extraktion von sphari-¨ schen, linienformigen¨ und lokal planaren Objekten eignen. Die neuen Segmen- tierungsmethoden wurden dabei gezielt fur¨ den Einsatz in der automatisierten i Analyse von großen 3D Bilddatensatzen¨ optimiert, insbesondere durch die sys- tematische Ausnutzung von vorhandenem a priori Wissen wahrend¨ der Algo- rithmenentwicklung und durch die Beschrankung¨ auf rechen- und speicheref- fiziente Teilkomponenten in der Implementierung. Anhand einer exemplari- schen Bildverarbeitungskette wurde veranschaulicht, wie Unsicherheiten in be- stehende Operatoren integriert werden und zur Verbesserung der Ergebnis- qualitat¨ beitragen konnen.¨ Um die Funktionalitat¨ der vorgestellten Verfahren zu validieren, wurden erweiterte oder zum Teil neu erstellte, simulierte Bench- markdatensatze¨ verwendet, die eine Vielzahl moglicher¨ Einsatzszenarien sys- tematisch abdecken. Die effizienten Implementierungen werden zum einen in- nerhalb der vorliegenden Arbeit vorgestellt und zum anderen als plattformu- nabhangige¨ Open-Source Software zur allgemeinen Verfugung¨ bereitgestellt. Eine Reihe von Problemen im Bereich der Entwicklungsbiologie wurde mit- tels der theoretisch eingefuhrten¨ Verfahren erfolgreich ausgewertet. So wur- den die Methoden beispielsweise fur¨ eine automatisierte, quantitative Analy- se der Auswirkungen von bekannten und unbekannten Chemikalien auf die neuronale Entwicklung im Ruckenmark¨ von Zebrabarblingen,¨ fur¨ die Detek- tion, Segmentierung und zeitliche Verfolgung von fluoreszenzmarkierten Zell- kernen in Zebrabarblingsembryos¨ sowie zur quantitativen Charakterisierung von Zellmorphologieanderungen¨ in zeitaufgelosten¨ 3D Mikroskopbildern von Fruchtfliegen-, Zebrabarblings-¨ und Mausembryos eingesetzt. ii Abstract Recent developments in the area of multidimensional imaging techniques pro- vide powerful ways to examine various kinds of scientific questions. For in- stance, in biological applications, time-resolved 3D light-sheet microscopy and serial section electron microscopy provide unprecedented possibilities ranging from in toto analyses of embryonic development down to investigations of sub- cellular processes or reconstructions of the nervous system. The routinely pro- duced datasets in the terabyte-range, however, can hardly be analyzed manu- ally. Thus, the extensive use of image analysis-based automation is an essential key to the success of the performed imaging experiments. Existing algorithms for such analysis tasks are mostly not directly applicable to these large-scale datasets and either have to be confined to small excerpts of the data or require an immense amount of computation capacities and execution time. Moreover, available prior knowledge that could be exploited for advanced analyses is of- ten not sufficiently considered by automatic processing pipelines. The major contributions of the present thesis are a new concept for the estima- tion and propagation of uncertainty involved in image analysis operators and the development of new segmentation algorithms that are suitable for terabyte- scale analyses of 3D+t microscopy images. Based on fuzzy set theory, available a priori knowledge was transformed into a mathematical representation and extensively used to enhance the performance of processing operators by data filtering, uncertainty propagation and explicit exploitation of information un- certainty for result improvements. To target the need for efficient image analy- sis operators, three new segmentation algorithms were specifically developed to detect a generalized geometric class of objects, namely, spherical objects, line-like objects and locally plane-like objects. The developed pipelines were specifically tuned to be applicable to large-scale analyses, i.e., only fast and memory efficient processing operators were used in the implementation. Us- ing an exemplary pipeline, it is demonstrated how a combination of both the fast algorithms and the proposed uncertainty framework could be used to fur- ther enhance the overall quality of the considered processing operators. All developed methods were thoroughly validated on existing and newly devel- oped simulated benchmarks, to be able to quantitatively assess their applica- bility to different imaging conditions. In addition, the efficient implementa- tions of all developed algorithms are presented and were made accessible to iii the community as platform independent open-source software tools. The new methods were successfully applied to multiple large-scale analyses of fluores- cence microscopy images in the field of developmental biology. In particular, the proposed pipelines were used to quantify the impact of both known and unknown chemical substances on the neuronal development in the spinal cord of zebrafish in 2D images. Furthermore, the developed methods were applied to time-resolved 3D images to detect, segment and track fluorescently labeled cellular nuclei of entire zebrafish embryos and to quantitatively characterize cell morphology dynamics using fluorescently labeled cellular membranes in 3D+t microscopy images of fruit fly, zebrafish and mouse embryos. iv Acknowledgements In the first place I want to thank Prof. Dr.-Ing. habil. Georg Bretthauer for the great opportunity to spend my time as a PhD student at the Institute for Ap- plied Computer Science (IAI) at the Karlsruhe Institute of Technology (KIT) and for his supervision of the thesis. Special thanks to my direct supervi- sor apl. Prof. Dr.-Ing. Ralf Mikut for the guidance, encouragement, construc- tive discussions and the continuous support throughout the entire time at the IAI. I deeply appreciate having had the chance to work freely and responsi- bly on a highly captivating project. I want to thank Prof. Dr. Uwe Strahle¨ and Prof. Dr. Jan G. Korvink for reviewing the thesis and Prof. Dr. Barbara Deml for heading the examination board. Thanks to all colleagues, Bachelor’s stu- dents and trainees at the IAI, especially, to Rudiger¨ Alshut, Thomas Antrit- ter, Andreas Bartschat, Dr. Christian Bauer, Wolfgang Doneit, Eduard Hubner,¨ Arif ul Maula Khan, Jorge Angel Gonzalez Ordiano, Nico Peter, Willis Pinaud, Dr. Markus Reischl, Benjamin Schott, Manuel Traub, Michele Rene Tuga and Simon Waczowicz for the pleasant, cooperative and exciting working atmo- sphere in the group for biosignal analysis. Many thanks to all the collaboration partners from the Institute of Toxicology and Genetics (ITG) and the Institute for Applied Physics (APH), especially, for igniting my interest in developmen- tal biology.