TECHNISCHE UNIVERSITÄT MÜNCHEN Lehrstuhl für Echtzeitsysteme und Robotik An Implementation for Algorithmic Game Solving and its Applications in System Synthesis Chih-Hong Cheng Vollständiger Abdruck der von der Fakultät für Informatik der Technischen Universität München zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigten Dissertation. Vorsitzender: Univ.-Prof. Dr. Helmut Seidl Prüfer der Dissertation: 1. Univ.-Prof. Dr. Alois Knoll 2. Univ.-Prof. Dr. Dr. h.c. Javier Esparza Die Dissertation wurde am 22.08.2011 bei der Technischen Universität München eingereicht und durch die Fakultät für Informatik am 17.03.2022 angenommen. II Zusammenfassung Die vorliegende Arbeit beschäftigt sich mit der praktischen Anwendung von algorithmischer Spieletheorie. Spieletheorie ist ein aktiver Forschungsbereich in der theoretischen Informatik und im Bereich formaler Methoden. Die Ar- beit stellt das Werkzeug GAVS+ vor, das verschiedenste Arten von Spielen und Gewinnbedingungen, die eine praktische Relevanz haben, umfasst. GAVS+ is das erste Werkzeug, das die verschiedenen Ansätze in dem Bereich, umfassend unterstützt. Auf Basis von dem Werkzeug wird das formale Fundament der Spieltheorie mit einem praktischen Anwendungsfeld, der Synthese, verbunden. Das erste Anwendungsfeld des Ansatzes ist die Synthese einer Konfiguration, die die Sicherheit und Verklemmungsfreiheit von Systemen aus interagieren- den, nicht veränderbaren Komponenten sicherstellt. Konkret werden die Pri- oritäten von Anwendungen in dem Werkzeug BIP synthetisiert. Der Ansatz erweitert damit existierende Werkzeuge, wie D-Finder, die zwar mögliche Verklemmungen in BIP-Programmen erkennen können, aber nicht automatisch eine korrekte Lösung berechnen können. Das zweite Anwendungsfeld des Ansatzes ist die Anwendung der Spielethe- orie zur Synthese von Plänen. Hierzu wurde GAVS+ um eine Unterstützung von einer modifizierten Version von STRIPS/PDDL erweitert. Die Modifika- tion betraf dabei die Erweiterung um einen zweiten Spieler, der beispielsweise Störungen oder Fehler in der Systemumgebung repräsentieren kann. Als letztes Anwendungsfeld wurde die Synthese von fehlertoleranten Syste- men durch den Einsatz von Spieletheorie untersucht. Der Ansatz basiert dabei auf drei Phasen: der Zeitabstraktion im ersten Schritt, der Synthese geeigneter Fehlertoleranzmechanismen und schlieslich¨ der Wiederherstellung der Zeitin- formationen. Zusammenfassend beweist diese Arbeit, dass Spieletheorie ein sehr mächtiges Werkzeug für Syntheseprobleme in verteilten, eingebetteten Systemen darstellt. Auch wenn es theoretischer Sicht selbst einfachste Probleme unentscheidbar sind, können die Ansäetze durch Beschränkung des Lösungsraums praktisch angewandt werden. Die Arbeit identifiziert deshalb erste Ansäetze wie der Lö- sungsraum reduziert werden kann. III IV Abstract This thesis describes efforts in bringing algorithmic game solving from theoret- ical results towards concrete applications. First, an implementation of a game- solving library is presented. The library supports several game types with dif- ferent winning conditions. Concerning applications, we first consider the prob- lem of risk avoidance and deadlock prevention in component-based systems. A technique called priority synthesis is presented, which enables to automatically generate stateless precedence over actions to avoid risk and deadlock states. The second application is related to behavioral-level synthesis. We extend PDDL to include game aspects, develop algorithmic methods to speed up synthesis, and present a case study in synthesizing controllers for FESTO MPS systems. Third, we investigate how HW/SW level fault-tolerant synthesis can be combined with games. Lastly, to study synthesis in distributed systems, we present initial in- vestigations to compute resource-bounded strategies. V VI Acknowledgements First of all, I want to thank my supervisor, Prof. Alois Knoll, for providing me the opportunity to prepare this thesis and for supporting my freedom in re- search. I am very thankful to Prof. Javier Esparza for accepting to be my sec- ond reviewer. His opinions are constructive since my early years in doctoral studies. Many thanks to members in the PUMA doctoral program, the chair of Embedded Systems and Robotics at the TU München, and Fortiss GmbH for the pleasant atmosphere in research. I am also fortunate to have many external collaborators who stimulate my re- search spirit. They are Dr. Harald Ruess (Fortiss), Dr. Barbara Jobstmann (Ver- imag), Prof. Saddek Bensalem (Verimag), Dr. Michael Luttenberger (TUM), Dr. Christian Buckl (Fortiss), Mr. Michael Geisinger (Fortiss), Dr. Rongjie Yan (IS- CAS), and Dr. Yu-Fang Chen (Academia Sinica). Dr. Ruess is an important mentor of mine who gives me a flavor of research. My visits to Verimag were wonderful experiences, and many thanks to Barbara and Prof. Bensalem. My knowledge in formal methods came from Prof. Farn Wang (NTU), and I learned embedded systems under Prof. Edward A. Lee (UC Berkeley). They were my supervisors during my master studies, and they are continuously supportive since then. I also thank my parents for the wonderful family education and all the oppor- tunities they offered me. My wife Tzuchen is very supportive concerning my academic careers. I thank her for her understanding and love. Finally, my best satisfaction during my doctoral studies is to know Jesus Christ and accept him as my savor for the rest of my life. This thesis, although far from perfect, should be devoted to the Lord. VII VIII Contents 1 Introduction1 1.1 Background...................................1 1.2 Algorithmic Game Solving from Theory to Applications in Synthesis..2 1.3 Main Contributions of this Thesis.......................3 1.4 Structure of this Thesis.............................5 2 Games for Synthesis: a Very Short Introduction7 2.1 Two-player, Turn-based Games over Finite Arenas.............8 2.2 Two-player Games over Pushdown Game Graphs............. 13 2.3 Games of Concurrency............................. 18 2.4 Games of Imperfect / Incomplete Information............... 24 2.5 Distributed Games............................... 26 2.6 Other Games Having Practical Interests................... 30 3 GAVS+: An Open Platform for the Research of Algorithmic Game Solving 35 3.1 GAVS: An Earlier Version........................... 35 3.2 GAVS+: An Open Platform for the Research of Algorithmic Game Solving 40 3.3 Related Work.................................. 50 3.4 Summary..................................... 50 4 Application A. Priority Synthesis: Theories, Algorithms, and Tools 51 4.1 Introduction................................... 52 4.2 Introduction to the Behavior-Interaction-Priority (BIP) Framework... 53 4.3 Component-based Modeling and Priority Synthesis............ 54 4.4 A Framework of Priority Synthesis based on Fault-Localization and Fault-Repair................................... 56 4.5 Handling Complexities............................. 64 4.6 Assume-guarantee Based Priority Synthesis................. 67 4.7 Evaluation: The VISSBIP toolkit........................ 72 4.8 Related Work.................................. 76 IX Contents 4.9 Summary..................................... 77 4.10 Appendix.................................... 79 5 Application B. Requirements and Optimizations for Software Controller Synthesis - Extending PDDL with Game Semantics 87 5.1 Introduction................................... 88 5.2 PDDL and its Extension for Games...................... 90 5.3 Algorithms for Symbolic Game Creation, Game Solving, and Strategy Creation..................................... 94 5.4 Program Optimization for Local Game Solving............... 99 5.5 Implementation and Evaluation........................ 105 5.6 Summary..................................... 112 6 Application C. A Game-Theoretic Approach for Synthesizing Fault-Tolerant Embedded Systems 115 6.1 Introduction................................... 116 6.2 Motivating Scenario............................... 117 6.3 System Modeling................................ 118 6.4 Step A: Front-end Translation from Models to Games........... 121 6.5 Step B: Solving Distributed Games...................... 127 6.6 Step C: Conversion from Strategies to Concrete Implementations.... 135 6.7 Implementation and Case Studies...................... 137 6.8 Related Work.................................. 141 6.9 Concluding Remarks.............................. 142 6.10 Appendix.................................... 142 7 Resource-Bounded Strategies for Distributed Games 155 7.1 Introduction................................... 156 7.2 Preliminaries................................... 157 7.3 Distributed Safety Strategy based on Projections.............. 161 7.4 Observation + Antichain + Decomposition................. 168 7.5 Related Work.................................. 174 7.6 Outlook...................................... 176 8 Conclusion 181 Bibliography 185 X List of Figures 2.1 A spectrum of games for synthesis and their relations............7 2.2 A simple finite game graph........................... 10 2.3 Run graphs over initial conditions S1ac (a) and S1abc (b).......... 17 2.4 Detailed step on computing the -automaton using Cachat’s algorithm. 19 P 2.5 Snapshot for the definition of attractor in the ICALP paper [Cac02].... 20 2.6 Snapshot of the membership algorithm in the ICALP paper [Cac02]... 20 2.7 A concurrent reachability game (rock-paper-scissor), where ( ; ) rep- − − resents all possible