Face Recognition for Great Apes: Identification of Primates in Real-World Environments
Total Page:16
File Type:pdf, Size:1020Kb
Fakult¨atf¨urElektrotechnik und Informationstechnik der Technischen Universit¨at Ilmenau Face Recognition for Great Apes: Identification of Primates in Real-World Environments Alexander Loos geboren am 05.05.1983, Hildburghausen, Deutschland Dissertation zur Erlangung des akademischen Grades Doktor-Ingenieur (Dr.-Ing.) Anfertigung im: Fachgebiet Elektronische Medientechnik Institut fur¨ Medientechnik Fakult¨at fur¨ Elektrotechnik und Informationstechnik Gutachter: Prof. Dr.-Ing. Dr. rer. nat. h.c. mult. Karlheinz Brandenburg Univ.-Prof. Dr.-Ing. habil. Gerhard Linß Dr. Tilo Burghardt Vorgelegt am: 07.05.2015 Verteidigt am: 13.01.2016 urn:nbn:de:gbv:ilm1-2016000034 iii Danksagung Die vorliegende Arbeit entstand w¨ahrendmeiner T¨atigkeit am Fraunhofer-Institut f¨urDigitale Medientechnologie in Ilmenau. Ich m¨ochte an dieser Stelle dem Leiter des Instituts, Prof. Dr.- Ing. Karlheinz Brandenburg, f¨urdie M¨oglichkeit der Bearbeitung dieses Themas meinen Dank aussprechen. Ein besonderer Dank geht an Prof. Dr.-Ing. habil. Gerhard Linß und Dr. Tilo Burghardt f¨urdie Begutachtung meiner Arbeit. Ich danke außerdem Dr. Tobias Deschner f¨ur die Bild- und Videoaufnahmen, welche die Grundlage f¨ureines der Vewendeten Datensets meiner Arbeit diente. Danke an den Zoo Leipzig und an das Wolfgang K¨ohlerPrimatenzentrum sowie an all die zahlreichen Assistenten und Tierpfleger f¨urdie Kollaboration w¨ahrenddes SAISBECO Projektes. Ein herzliches Dankesch¨ongeht auch an Laura Aporius und Karin Bahrke f¨ur das Aufnehmen und Annotieren von zahlreichen Trainings- und Testdaten. Vielen Dank auch an alle Mitglieder des SAISBECO Projektes, allen voran Andreas Ernst, Jens Garbas und Hjalmar K¨uhlf¨urdie kreative, unkomplizierte und fruchtbringende Zusammenarbeit. Weiterhin m¨ochte ich mich bei den zahlreichen Studenten bedanken, die maßgeblich zum Gelin- gen dieser Arbeit beigetragen haben. Ein großes Dankesch¨ongeht außerdem an die Mitarbeiter und Mitarbeiterinnen sowie alle Doktoranden des Fraunhofer IDMT f¨urdas angenehme Arbeit- sklima. Allen voran m¨ochte ich mich bei meinen Kollegen der Gruppe Audio-visuelle Systeme, Uwe K¨uhhirt,Christian Weigel, Ronny Paduschek und Sascha Kr¨amerf¨ur eure grenzenlose Geduld und eure wertvolle Unterst¨utzungbei Implementierungsfragen bedanken. Ein herzliches Dankesch¨ongeht auch an alle Mitglieder des SciBeCircles - durch unsere anregenden Meetings und fruchtbringenden Diskussionen habe ich nicht nur viel gelernt sondern konnte auch stets neue Anregungen f¨urmeine Arbeit gewinnen. Des Weiteren m¨ochte ich mich bei meinen Eltern, Hans-Joachim und Christa Loos, bedanken, ohne deren finanzielle Unterst¨utzungmein Studium, welches die Grundlagen f¨urdiese Arbeit legte, nicht m¨oglich gewesen w¨are. Herzlichen Dank Anja und Alina, f¨urEure grenzenlose Geduld und eure Unterst¨utzungin guten wie in schweren Zeiten w¨ahrendmeiner Promotion. Nicht zuletzt geht mein Dank auch an alle anderen Freunde, Kommilitonen und Bekannte, die mir eine solch sch¨oneund unvergessliche Zeit in Ilmenau bereitet haben. v Abstract Due to the ongoing biodiversity crisis, many species including great apes such as chimpanzees or gorillas are threatened and need to be protected. To overcome the catastrophic decline of biodi- versity, biologists recently started to use remote cameras for wildlife monitoring. However, the manual analysis of the resulting image and video material is extremely tedious, time consuming, and highly cost intensive. To overcome the burden of exhaustive routine work, this thesis explores a novel applica- tion of computer vision: Automatic detection and identification of primates in visual footage. Based on the assumption that humans and our closest relatives - the great apes - share similar properties of the face, algorithms for human face detection and recognition are adapted and extended in order to identify chimpanzees and gorillas in their natural habitats. The thesis proposes and evaluates an algorithmic framework comprising detection, alignment, and identification of primate faces in images and videos which is robust to various poses, chal- lenging lighting, clutter, and partial occlusion among other extrinsic and intrinsic factors present in real-world environments. Free-living and captive chimpanzees and gorillas serve as sample species to demonstrate the feasibility but also highlight limitations of the approach. Emphasizing on the identification part of the proposed system, first algorithms for reliable identification of primates in still images are proposed. Holistic global features and locally ex- tracted descriptors are combined using a decision-level fusion paradigm. This approach is further extended to recognize great apes in videos. After faces have been detected and tracked through the sequence, a number of quality assessment modules are applied in order to select the frames which are best suited for subsequent recognition. Furthermore, a novel frame-weighting scheme is proposed which weights the predictions of multiple frames according to the classifier’s confi- dence. Secondly, the developed algorithms are thoroughly evaluated on realistic image and video benchmark datasets annotated by experts. To show the superiority of the proposed framework, it is compared to various state-of-the-art face recognition algorithms originally developed to identify humans. In order to provide a practical proof of concept, the proposed algorithms are integrated into a unified full-automatic prototypical implementation currently used by biologists and ecologists to estimate population sizes faster and more precisely than current approaches. Thus, the proposed Primate Recognition Framework (PRF) has the potential to open up new venues in efficient wildlife monitoring and can help researchers to develop innovative protection schemes in the future. vii Zusammenfassung Aufgrund des gegenw¨artigen Artensterbens sind viele Spezies, einschließlich Menschenaffen wie Schimpansen und Gorillas, vom Aussterben bedroht. Daher gewinnt die Uberwachung¨ der ak- tuellen Best¨ande mittels autonomer Aufnahmeger¨ate zunehmend an Bedeutung. Die manuelle Auswertung solcher Daten ist jedoch extrem muhsam,¨ zeitaufw¨andig und kostenintensiv. Um der immer gr¨oßer werdenden Datenflut Herr zu werden, untersucht diese Arbeit ein neu- es Anwendungsgebiet der Bildverarbeitung und des maschinellen Sehens: Automatische De- tektion und Identifikation von Primaten in Bildern und Videos. Basierend auf der Annahme, dass Menschen und unsere n¨achsten Verwandten ¨ahnliche Charakteristika des Ge- sichts aufweisen, werden in dieser Arbeit Algorithmen zur Erkennung menschlicher Gesichter erweitert um Schimpansen und Gorillas in ihrem naturlichen¨ Lebensraum zuverl¨assig identifizie- ren zu k¨onnen. Die Dissertation beschreibt und evaluiert ein algorithmisches System bestehend aus Detektion, Ausrichtung und Identifikation von Primatengesichtern in Bildern und Videos. Die vorgeschlagenen Algorithmen sind dabei robust gegenuber¨ verschiedenen Posen, Beleuch- tungsbedingungen und partiellen Verdeckungen sowie anderen Faktoren wie sie h¨aufig in realen Anwendungsszenarien auftreten. Die Leistungsf¨ahigkeit, aber auch Grenzen des Systems wer- den ausfuhrlich¨ anhand von Datensets freilebender und gefangener Schimpansen und Gorillas diskutiert. Mit dem Fokus auf die individuelle Erkennung werden zuerst Algorithmen fur¨ eine zuverl¨assige Erkennung von Primaten in Bildern vorgestellt. Holistische Merkmale sowie lokale Deskriptoren werden mittels einer Entscheidungsfusion kombiniert. Anschließend wird dieser Ansatz auf die Erkennung von Menschenaffen in Videos erweitert. Nach der Detektion und Verfolgung von Gesichtern werden Module zur Qualit¨atsbeurteilung angewandt, um Frames zu identifizieren, die sich am besten fur¨ die folgenden Gesichtserkennungsalgorithmen eignen. Weiterhin wird ein neuartiger Frame-Weighting-Algorithmus beschrieben, welcher basierend auf der Konfidenz des Klassifikators die Resultate mehrerer Frames gewichtet. Des Weiteren werden die entwickelten Algorithmen auf realistischen, von Experten annotierten Bild- und Videodatenbanken, sorgf¨altig evaluiert. Um die Vorteile des vorgeschlagenen Systems zu demonstrieren, wird es mit anderen dem Stand der Technik entnommenen Algorithmen zur Gesichtserkennung verglichen. Die implementierten Algorithmen wurden in einer prototypischen Anwendung zusammen- gefuhrt,¨ welche derzeit von Biologen genutzt wird um Populationsgr¨oßen schneller und genauer sch¨atzen zu k¨onnen. Daher hat das entwickelte Primate Recognition Framework (PRF) das Potential, den Weg zu effizienteren Monitoringverfahren zu ebnen und damit zukunftig¨ Wis- senschaftlern zu helfen, neue innovative Schutzmaßnahmen zu entwickeln. Contents ix Contents Danksagung iii Abstract v Zusammenfassung vii Contents viii 1. Introduction 1 1.1. Motivation.......................................1 1.2. Wildlife Monitoring: A Brief Introduction......................2 1.3. Problem Outline and Contributions..........................4 1.4. Thesis Overview....................................6 2. Background 9 2.1. Chapter Overview...................................9 2.2. Visual Descriptors...................................9 2.2.1. Global Features................................. 10 2.2.2. Local Descriptors................................ 16 2.3. Feature Space Transformations............................ 19 2.3.1. Principal Component Analysis (PCA).................... 20 2.3.2. Linear Discriminant Analysis (LDA)..................... 20 2.3.3. Locality Preserving Projections (LPP)...................