TECHNISCHE UNIVERSITÄT MÜNCHEN Lehrstuhl für Informatik VII Verification of Reachability Properties and Termination for Probabilistic Systems Andreas Gaiser Vollständiger Abdruck der von der Fakultät für Informatik der Technischen Universität München zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigten Dissertation. Vorsitzender: Univ.-Prof. Dr. H. Seidl Prüfer der Dissertation: 1. Univ.-Prof. Dr. Dr. h.c. F.J. Esparza Estaun 2. Prof. A. Kučera, Ph.D. Masaryk Univ. / Tschechien Die Dissertation wurde am 10.10.2012 bei der Technischen Universität München eingereicht und durch die Fakultät für Informatik am 20.02.2013 angenommen. Abstract In this thesis we study reachability problems for Markov chains and Markov decision processes originating from probabilistic programs and multi-type finite branching processes. Manual analysis of such systems is challenging and error-prone; its automation has been widely investigated, but mainly for systems with finite state spaces. Apart from the problem of state explosion (and infinite state spaces) one has to deal with the quantitative nature of probabilistic programs. In the first part of the thesis we consider the problem of computing lower and upper bounds for reachability probabilities of programs. We extend abstraction approaches to arbitrary domains from the abstract interpretation framework, making them more flexible and efficient. In the second part we present a novel algorithm for proving termination with probability one of probabilistic programs. Our algorithm exploits the power of state-of-the-art termination provers for nonprobabilistic programs. In the last part we develop robust numerical algorithms for the analysis of termination properties of multi-type finite branching processes and simple recursive programs. Zusammenfassung Diese Arbeit beschäftigt sich mit Erreichbarkeitsproblemen für Markov- Ketten und Markov-Entscheidungsprozesse mit großen und unend- lichen Zustandsräumen, die von probabilistischen Programmen und Verzweigungsprozessen stammen. Neben der Zustandsexplosion treten hierbei auch Herausforderungen auf, die von der quantitativen Art der Erreichbarkeitsprobleme herrühren. Im ersten Teil der Arbeit wird das Problem behandelt, obere und untere Schranken für Erreichbarkeitswahrscheinlichkeiten von Pro- grammen zu errechnen. Bestehende Abstraktionsansätze werden um die Möglichkeit erweitert, beliebige abstrakte Domänen zu benutzen, was die Ansätze flexibler und effizienter macht. Im zweiten Teil wird ein neuer Algorithmus vorgestellt, der fast sichere Terminierung von Programmen beweist. Er benutzt dafür kürzlich entwickelte Termi- nierungsbeweiser für nichtprobabilistische Programme. Außerdem wer- den robuste numerische Algorithmen für die Analyse von Terminie- rungseigenschaften von Verzweigungsprozessen und einfachen rekur- siven Programmen entwickelt. Acknowledgements Zuallererst möchte ich meinem Betreuer Prof. Javier Esparza danken. Während meiner Zeit als Doktorand lernte ich ihn als sorgfältigen und unendlich geduldigen Betreuer, Ratgeber und Lehrer kennen, der nach Rückschlägen aufbauen konnte, und mit sicherem Gespür meine Forschungsversuche immer wieder in die richtigen Bahnen lenkte. Ich habe viel von ihm gelernt, in vielen Bereichen. Javier machte mich auch auf das Graduiertenkolleg PUMA (Nr. 1480) der Deutschen Forschungsgemeinschaft aufmerksam, dessen Stipen- diat ich sein durfte. Ich danke sowohl der DFG als auch der Tech- nischen Universität München für ihre Unterstützung. Dank gebührt auch meinem Zweitbetreuer Helmut Seidl, der als Leiter des Graduier- tenkollegs immer für seine PUMAs eintrat, und Stefan Schwoon, der meinen akademischen Werdegang vom ersten Semester an begleitet hat. Noch einen Stefan möchte ich ganz besonders hervorheben: Stefan Kiefer. Viele Ergebnisse dieser Arbeit sind in Kooperation mit ihm entstanden. Ich schätze mich glücklich, mit einem solch scharfsinnigen und gütigen Kollegen und Freund zusammenarbeiten zu dürfen, erst in München, dann während meines Aufenthaltes in Oxford. Am Lehrstuhl I7 herrscht eine ganz besondere Arbeitsatmosphäre. Ich denke an inner- und außeruniversitäre Aktivitäten mit (dem drit- ten) Stefan und Christian, Laufen und Heimfahrten mit Michael, und an meinen Zimmerkollegen Jan, unsere Gespräche über Deutsche, Tschechen, Sprache, Religion und den ganzen Rest; sie alle sind mir Freunde geworden. Danke auch an alle neuen und alten Kollegen: Jörg, Remy, René, Maximilian, Juan, Frau Leber, Frau Auer etc., und besonders an Andreas Reuß: es war immer schön, mit ihm Kriegsrat zu halten. I am grateful for the opportunity to work with the colleagues of our new research group: Andrey, Corneliu, Ruslan, and Ashuthosh - I want to mention in particular the disussions with Ruslan, and Corneliu’s and Andrey’s help with taming ARMC and lots of other things. Von Björn Wachter habe ich viel gelernt über probabilistisches Model Checking und Abstraktion, vielen Dank dafür. I also thank Prof. Antonín Kučera for agreeing to review this thesis. Meiner Schwester Diana und Simone möchte ich danken für ihren Beistand in den vergangenen Jahren. Meine Eltern haben mich in unaufhörlicher Liebe in jeder Situation meines Lebens unterstützt und begleitet. Meine Dankbarkeit ihnen gegenüber lässt sich schwerlich in Worte fassen. Ich bin unendlich froh, sie haben zu dürfen. S · D · G Contents Contents i List of Figures v 1 Introduction 1 2 Preliminaries 7 2.1 Lattices and Fixed Points . .7 2.2 Languages . .9 2.3 Vectors . 10 3 Probability Theory and Markov Models 11 3.1 Probability Spaces . 12 3.2 Markov Chains and Markov Decision Processes . 13 3.2.1 Runs and Paths . 16 3.2.2 Probability Measures for Markov Chains and MDPs . 17 3.3 Reachability Problems . 19 4 Reachability in Probabilistic Programs 23 4.1 Probabilistic Programs . 28 4.1.1 PGP Semantics . 29 4.2 Abstracting Program States . 32 4.2.1 Domains . 33 4.2.2 Abstract Transitions . 38 4.2.3 Fixed Points and Widenings . 39 4.2.4 Direct Product of Domains . 41 ii 4.2.5 Other Abstract Domains . 42 4.3 Stochastic Games . 43 4.4 The Approach in a Nutshell . 46 4.4.1 A Game Round . 47 4.4.2 Constructing an Example Arena . 50 4.4.3 Reachability Information from Arenas . 52 + − 4.4.3.1 Bounds max , max for MaxReach(MP ,F ) ... 52 − + 4.4.3.2 Bounds min , min for MinReach(MP ,F ) .... 53 4.4.4 Infinite Domains, Widenings, and Predicate Domains . 57 4.5 Formal Definition of Abstract Game Arenas . 58 4.5.1 Obtaining Reachability Bounds . 60 4.6 An Algorithm for Building Abstract Game Arenas . 73 4.6.1 General Structure . 75 4.6.2 Procedure abstractUpdate ................. 76 4.6.3 Procedure extrapolate ................... 78 4.7 Refining Abstract Game Arenas: Quantitative Widening Delay . 79 4.8 Experiments . 80 4.9 Related work . 82 4.10 Conclusion . 83 5 Termination of Probabilistic Programs 85 5.1 Probabilistic Imperative Programs . 90 5.1.1 Semantics of PIPs . 92 5.1.2 Program Classes . 93 5.2 Patterns . 93 5.3 Constructing Patterns . 97 5.3.1 Finite Programs . 99 5.3.2 Weakly Finite Programs . 102 5.4 Implementing Pattern Checkers . 104 5.5 Nondeterministic Programs . 107 5.6 Experimental Evaluation . 109 5.7 Termination Information and Reachability Probabilities . 111 5.7.1 Improving Lower Bounds for Reachability . 113 iii 5.8 Related Work . 114 5.9 Conclusion . 115 6 Extinction in Branching Processes 117 6.1 Multi-Type Finite Branching Processes . 122 6.1.1 Stochastic Context-Free Grammars . 128 6.1.2 Stateless Probabilistic Pushdown Automata . 130 6.2 Probabilistic Systems of Polynomials . 133 6.2.1 Preliminaries . 133 6.2.2 Definition and Properties . 133 6.3 An Algorithm for Deciding whether ψ = 1 ............. 135 6.3.1 Checking Consistency using Linear Programming . 136 6.3.2 Our Algorithm . 137 6.3.3 Case Study: MFBPs with ψ being ”almost” 1 ....... 139 6.4 Approximating Extinction Probabilities with Inexact Arithmetic . 141 6.4.1 Computing a Strict Pre-Fixed Point . 143 6.4.2 Computing Lower and Upper Bounds . 144 6.4.2.1 Characterizing Pre-Fixed Points and Post-Fixed Points . 149 6.4.2.2 Computing Upper Bounds . 151 6.4.2.3 Computing Lower Bounds . 153 6.4.2.4 Obtaining a Post-Fixed Point ≺ 1 ......... 155 6.4.2.5 Concluding Correctness Proof . 158 6.5 Case Study: A Neutron Branching Process . 160 6.6 Conclusion . 164 7 Summary and Outlook 165 A Missing Proofs of Chapter 4 169 A.1 Proof of Lemma 3, Part (1) . 169 A.2 Proof of Lemma 3, Part (2) . 173 A.3 Proof of Lemma 3, Part (3) . 179 B Missing Proofs of Chapter 5 187 iv C Missing Proofs of Chapter 6 199 List of Figures 3.1 Bounded random walk . 14 3.2 Unbounded random walk . 15 3.3 Example MDP . 15 4.1 Packet transmission example as CFG . 24 4.2 Packet transmission example as PGP. 31 4.3 MDP from the packet transmission example. 32 4.4 Predicate domains . 35 4.5 PGP example for widenings . 38 4.6 Example stochastic game arena . 44 4.7 Constructing abstract game arenas . 48 4.8 Complete abstract game arena. 49 4.9 Example programs 2 and 3 . 58 4.10 Two guarded-command programs . 81 5.1 MDP of the introductory example . 86 5.2 Example program FW ......................... 91 5.3 Illustration of the proof of Theorem 7 . 98 5.4 PIP RW and program RW’ ....................... 102 5.5 MDP associated to RW ........................ 103 5.6 Büchi automaton A(w) ........................ 106 5.7 Code transformation for coin tosses in weakly finite programs. 107 5.8 Nondeterministic a.s.-terminating pattern . 107 5.9 Constructed patterns of case studies and runtimes . 110 vi 6.1 Example MFBP . 124 6.2 Markov chain belonging to the example MFBP . 131 6.3 Derivation tree of SCFG example . 131 6.4 Computation of a post-fixed point < 1 ............... 148 6.5 ψ1 for different values of D (neutron branching process) . 163 Chapter 1 Introduction Everything existing in the universe is the fruit of chance. ∆ηµoκριτoς´ Probability theory finds applications in all areas of modern science. Probabilities are used to model the development of animal populations in systems biology (Haccou et al.