Evolutionary Legged Robotics von Malte Langosz Dissertation zur Erlangung des Grades eines Doktors der Ingenieurwissenschaften - Dr.-Ing. - Vorgelegt im Fachbereich 3 (Mathematik & Informatik) der Universität Bremen im November 2018 Datum des Promotionskolloquiums: 14. Februar 2019 Gutachter: Prof. Dr. Frank Kirchner (Universität Bremen) Prof. Dr. Joachim Hertzberg (Universität Osnabrück) Abstract Due to the technological advance, robotic systems become more and more interesting for industrial and home applications. Popular examples are given by robotic lawn mower, robot vacuum cleaner, and package drones. Be- side the toy industry, legged robots are not as popular, although they have some clear advantages compared to wheeled systems. With their flexibil- ity concerning the locomotion, they are able to adapt their walking pattern to different environments. For instance they can walk over obstacles and gaps or climb over rubble and stairs. Another possible advantage could be a redundancy for locomotion. A faulty motor in one limb could be com- pensated by other motors in the kinematic chain. As well, multiple failing legs can be compensated by an adapted walking pattern. Compared to this, the more complex mechatronic systems represent a major challenge to the construction and the control. This thesis is dedicated to the control of complex walking robots. Genetic algorithms are applied to generate walking patterns for different robots. The evolutionary development of walking patterns is done in a simulation software. Results of various approaches are transferred and tested on ex- isting systems which have been developed at RIC/DFKI. Different robotic systems are used to evaluate the generality of the applied methods. Eventu- ally, a method is developed that can be utilized, with a few system specific modifications, for a variety of legged robots. As basis for the development and investigation of several methods, soft- ware tools are designed to generalize the application of applying genetic algorithms to legged locomotion. These tools include a simulation envi- ronment, a behavior representation, a genetic algorithm and a learning and benchmark framework. The simulation environment is adapted to the be- havior of real robotic systems via reference experiments. In addition, the simulation is extended by a foot contact model for loose surfaces. The eval- uation of the genetic algorithm is done on several benchmark problems and compared to three existing algorithms. This thesis contributes to the state of the art in many areas. The developed methodology can easily be applied to several complex robotic systems due to its transferability. The genetic algorithm and the hierarchical behavior representation provide a new opportunity to control the generation of the offspring in an evolutionary process. In addition, the developed software tools are an important contribution for their respective research fields. Zusammenfassung Robotische Systeme erhalten durch den technologischen Fortschritt mehr und mehr Einzug in das alltägliche Leben. Rasenmähroboter, Staubsauger- roboter und auch Paketdrohnen sind bekannte Beispiele. Laufroboter sind außerhalb der Spielzeugindustrie allerdings wenig verbreitet, obwohl sie ge- genüber radgetriebenen Systemen einige Vorteile haben. Ihre große Stärke ist die Flexibilität – sie können sich über ihr Laufverhalten an die Umge- bung anpassen und so über Hindernisse oder Spalten laufen, über Geröll klettern oder Treppen steigen. Ein weiterer Vorteil kann eine Redundanz bei der Fortbewegung sein. Ein defekter Motor in einer Extremität kann zum Beispiel durch andere Motoren in der kinematischen Kette kompensiert wer- den. Ebenso können sogar mehrere ausfallende Beine durch ein angepasstes Laufmuster ausgeglichen werden. Die im Vergleich komplexeren mechatro- nischen Systeme der Laufroboter stellen jedoch große Herausforderungen an Konstruktion und Steuerung dar. Diese Arbeit widmet sich der Steuerung komplexer Laufroboter. Es werden genetische Algorithmen eingesetzt, um Laufverhalten für verschiedene Ro- boter zu generieren. Die Entwicklung der Laufmuster findet ausschließlich in einer Simulationsumgebung statt. Die Ergebnisse unterschiedlicher Ansätze werden auf drei am RIC/DFKI entwickelten Robotersysteme übertragen und bewertet. Um Aussagen über die Allgemeingültigkeit der verwendeten Me- thoden zu ermöglichen werden Roboter mit unterschiedlicher Komplexität eingesetzt. Daraus folgt die Entwicklung einer Methodik, die mit gering- fügigen, roboterspezifischen Anpassungen für eine Vielzahl von Systemen einsetzbar ist. Als Grundlage für die Entwicklung und Untersuchung verschiedener Metho- den werden Software-Werkzeuge entwickelt, die die Anwendung genetischer Algorithmen auf Laufroboter weitestgehend modularisieren und abstrahie- ren. Zu den Werkzeugen gehören eine Simulationsumgebung, eine Verhal- tensrepräsentation, ein genetischer Algorithmus und ein Lern- und Bench- marking-Framework. Die Simulationsumgebung wird über Vergleichsexpe- rimente an das Verhalten der realen Roboter angeglichen. Zudem wird die Simulation um ein Modell für die Fuß-Boden-Interaktion auf losem Unter- grund erweitert. Die Bewertung des genetischen Algorithmus’ erfolgt über mehrere Benchmarkprobleme mit drei vergleichbaren Algorithmen. Diese Arbeit erweitert den Stand der Technik in diversen Bereichen. Die ent- wickelte Methodik lässt sich durch ihre Übertragbarkeit auf verschiedene komplexe Robotersysteme anwenden. Der genetische Algorithmus und die hierarchische Verhaltensrepräsentation bieten eine neuartige Möglichkeit, die Generierung der Nachfahren im evolutionären Prozess zu kontrollieren. Auch die entwickelten Software-Werkzeuge stellen in ihrem jeweiligen Ge- biet einen wertvollen Beitrag dar. Danksagung Seit ich als Schüler angefangen habe mich mit Computern und Technik zu beschäftigen, treibt mich der Gedanke voran, die technischen Geräte, die uns heutzutage zur Verfügung stehen, intelligenter zu machen. Als ich dann in der AG Robotik die Möglichkeit bekam an der Laufrobotik mitzuarbeiten, bot sich mir eine großartige Gelegenheit viel über künstliche Intelligenz zu lernen. Meine Motivation technische Geräte intelligenter zu machen wur- de für die nächsten Jahre konkretisiert: Ein Laufroboter sollte in der Lage sein die Koordination seiner eigenen Beine ohne menschliches Eingreifen zu erlernen. Daher möchte ich an erster Stelle meinem Doktorvater Prof. Dr. Frank Kirch- ner danken, der mich über seine Robotik Vorlesungen für das Thema be- geistert hat. Während ich meiner Forschung nachgekommen bin hat er mei- nen Weg mit wertvollen Diskussionen, Ratschlägen aber auch Perspektiv- wechseln mitgelenkt. Unter seiner Leitung hat die AG Robotik zusammen mit dem RIC/DFKI eine herausragende Umgebung bereitgestellt um an mei- nem Thema zu forschen. Neben einer Vielzahl verschiedener Robotersys- teme konnte ich jederzeit auf kompetente Unterstützung in allen Bereichen zurückgreifen. Besonders hervorheben möchte ich hier die Hardware Teams (Konstruktion und Elektronik) die mit ihrer Expertise komplexe und robus- te Laufroboter entwickelt haben auf denen ich auch mal nicht ganz “opti- male” Laufverhalten ausführen konnte. Während meiner Forschung für meine Doktorarbeit haben mich viele Freun- de und Kollegen mit Diskussionen, Fachwissen, kreativen Ideen und mit der Hilfe bei der Durchführung von zahlreichen Experimenten unterstützt. Die Liste wäre zu lang um alle namentlich zu erwähnen, aber Einigen gebührt besonderer Dank, da sie mich über viele Jahre begleitet haben: Dr. Yohannes Kasssahun, Lorenz Quack, Kai von Szadkowski, Alexander Dettman, Dr. Daniel Kühn, Dr. Berthold Bongart, Dr. Sebastian Bartsch, Michael Rohn und Familie Niebuhr. Zuletzt geht mein größter Dank an meine Frau Julia Langosz, die mich durch alle Höhen und Tiefen, Erfolge und Misserfolge begleitet hat. Sie hat mir, mit unendlich viel Verständnis, auch privat den Raum geschaffen meiner For- schung und meiner Arbeit nachzugehen. Zudem hat sie immer ein offenes Ohr für mich gehabt, was sie jetzt wahrscheinlich zu einer mir gleichgestell- ten Expertin in dem Gebiet macht. Contents 1 Introduction 1 1.1 Motivation .................................. 1 1.2 Goal ...................................... 4 1.3 Structure of the Thesis ............................ 5 1.4 Contributions ................................. 6 2 Background and Related Work 9 2.1 Legged Locomotion ............................. 9 2.1.1 Model-Based Control ........................ 9 2.1.2 Bio-Inspired Control ......................... 10 2.2 Evolution and Optimization ......................... 15 2.2.1 Natural Evolution .......................... 15 2.2.2 Artificial Evolution ......................... 16 2.2.3 Particle Swarm Optimization .................... 21 2.3 Robotic Systems ............................... 22 2.3.1 SPOT ................................. 22 2.3.2 SPACECLIMBER ............................. 23 2.3.3 CHARLIE ................................ 27 3 Simulation MARS 31 3.1 Software Architecture ............................ 31 3.2 Open Dynamics Engine ........................... 35 3.3 Comparison of Simulated and Real Robot ................. 36 3.4 Ground Interaction Model by Neural Network .............. 39 3.4.1 Passive Experiments ......................... 39 3.4.2 Active Experiments ......................... 44 3.4.3 Conclusion .............................. 49 4 Learning Framework BOLERO 51 4.1 Definition ................................... 51 4.2 Implementation ..............................