Efficient Epistemic Updates in Rank-Based Belief Networks
Total Page:16
File Type:pdf, Size:1020Kb
Efficient Epistemic Updates in Rank-Based Belief Networks Dissertation zur Erlangung des akademischen Grades eines Doktors der Philosophie (Dr. phil.) an der Geisteswissenschaftliche Sektion Fachbereich Philosophie vorgelegt von Stefan Alexander Hohenadel Tag der mündlichen Prüfung: 4. September 2012 1. Referent: Prof. Dr. Wolfgang Spohn 2. Referent: PD Dr. Sven Kosub Konstanzer Online-Publikations-System (KOPS) URL: http://nbn-resolving.de/urn:nbn:de:bsz:352-250406 Efficient Epistemic Updates in Rank-Based Belief Networks Stefan Alexander Hohenadel November 9, 2013 A Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of Doctor in Philosophy. Department of Philosophy Faculty of Humanities University of Konstanz This document was compiled on November 9, 2013 from revision 341 without changes. Abstract – The thesis provides an approach for an efficient update algorithm of rank-based belief networks. The update is performed on two input values: the current doxastic state, rep- resented by the network, and, second, a doxastic evidence that is represented as a change on a subset of the variables in the network. From these inputs, a Lauritzen-Spiegelhalter-styled up- date strategy can compute the updated posterior doxastic state of the network. The posterior state reflects the combination of the evidence and the prior state. This strategy is well-known for Bayesian networks. The thesis transfers the strategy to those networks whose semantics is specified by epistemic ranking functions instead of probability measures. As a foundation, the construction of rank-based belief networks is discussed, which are graphical models for rank- ing functions. It is shown that global, local and pairwise Markov properties are equivalent in rank-based belief networks and, furthermore, that the Hammersley-Clifford-Theorem holds for such ranking networks. This means that from the equivalence of the Markov properties it follows that a potential representation of the actual ranking function can be derived from the network structure. It is shown how by this property the update strategy of the Lauritzen- Spiegelhalter-algorithm can be transferred to ranking networks. For this purpose, the solution of the two main problems is demonstrated: first, the triangulation of the moralized input network and the decompositon of this triangulation to a clique tree. Then, second, message passing can be performed on this clique tree to incorporate the evidence into the clique tree. The entire approach is in fact a technical description of belief revision. Zusammenfassung – Diese Dissertation stellt einen Ansatz für die effiziente Aktualisierung von Rangfunktion-basierten doxastischen Netzwerken vor. Die Aktualisierung eines doxasti- schen Netzwerks erfolgt auf der Basis von zwei Eingaben: dem aktuellen doxastischen Zu- stand, repräsentiert durch das Netzwerk, sowie einer doxastischen Evidenz, die als Änderung von Aktualwerten einer Untermenge von Variablen des Netzwerks formalisiert wird. Aus diesen Eingaben kann mithilfe der Strategie des Algorithmus von Lauritzen & Spiegelhalter der aktualisierte Folgezustand des Netzwerks berechnet werden, in welchem die Evidenz re- flektiert ist. Dieses Vorgehen ist für Bayessche Netze bereits seit langem bekannt und wird hier auf Netze angewandt, deren Semantik statt durch Wahrscheinlichkeitsmaße durch Rang- funktionen spezifiziert ist. Als Grundlegung wird auch die Bildung grafischer Modelle für Rangfunktionen, also Rangfunktion-basierter doxastischer Netzwerke ausführlich diskutiert. Unter anderem wird dabei gezeigt, dass globale, lokale und paarweise Markov-Eigenschaften in Rangfunktion-basierten Netzwerken äquivalent sind und dass weiterhin für solche Rang- netzwerke das Hammersley-Clifford-Theorem gilt. Dies bedeutet, dass aus der Äquivalenz der genannten Markov-Eigenschaften folgt, dass stets eine cliquen-basierte Potentialdarstel- lung der jeweiligen Rangfunktion aus der Netzwerkstruktur abgeleitet werden kann. Es wird gezeigt, wie durch diese Eigenschaft die Aktualisierungsstrategie des Lauritzen-Spiegelhalter- Algorithmus auf Rangfunktion-basierte Netzwerke übertragen werden kann. Hierzu wird die Lösung der beiden Hauptaufgaben gezeigt: Zunächst ist die Triangulierung des moralisierten Netzwerks sowie die Dekomposition des triangulierten Netzwerks zu einem Cliquenbaum auszuführen, danach kann auf dem so gewonnenen Cliquenbaum message passing ausgeführt werden, um die doxastische Evidenz in den Cliquenbaum zu inkorporieren. Dies entspricht einer technischen Darstellung des Revisionsvorgangs von Überzeugungszuständen. 5 6 Contents Preface .............................. 9 IB elief,Belief States, and Belief Change ............... 15 1.1 Introduction · 15 – 1.1.1 Remark on Sources and Citation · 16 – 1.2 A Normative Per- spective on Epistemology · 16 – 1.2.1 Descriptive and Normative Perspective · 16 – 1.2.2 The Philosopher and the Engineer · 17 – 1.2.3 Belief Revision and the Problem of Induction · 23 – 1.3 Elements of a Belief Theory · 26 – 1.4 Propositions as Epistemic Units · 28 – 1.4.1 The Concept of Proposition · 28 – 1.4.2 Propositions Form Algebras · 29 – 1.4.3 Atoms and Atomic Algebras · 32 – 1.4.4 Beliefs, Contents, and Concepts · 33 – 1.5 Epistemic States and Rationality · 37 – 1.5.1 Rationality Postulates · 37 – 1.5.2 Rational Belief Sets · 40 – 1.5.3 Belief Cores · 41 – 1.6 Transitions Between Epistemic States · 42 – 1.6.1 Descrip- tion of Epistemic Updates · 42 – 1.6.2 Transition by Consistent Evidence · 43 – 1.6.3 The Inconsistent Case · 44 – 1.6.4 The Transition Function · 45 IIR anking Functions and Rank-based Conditional Independence ...... 47 2.1 Introduction · 47 – 2.2 Ranking Functions · 48 – 2.2.1 Ranking Functions on Pos- sibilities · 48 – 2.2.2 Negative Ranking Functions · 49 – 2.2.3 Minimitivity, Completeness, and Naturalness · 52 – 2.2.4 Two-sided Ranking Functions · 56 – 2.2.5 Conditional Nega- tive Ranks · 57 – 2.2.6 Conditional Two-sided Ranks · 62 – 2.2.7 A Digression on Positive Ranking Functions · 65 – 2.3 Conditionalization and Revision of Ranking Functions · 68 – 2.3.1 Plain Conditionalization · 68 – 2.3.2 Spohn-conditionalization · 70 – 2.3.3 Shenoy- conditionalization · 73 – 2.4 Rank-based Conditional Independence · 74 IIIG raphical Models for Ranking Functions .............. 81 3.1 Introduction · 81 – 3.1.1 Content of this Chapter · 81 – 3.1.2 Historical Remarks · 82 – 3.1.3 Measurability and Variables · 87 – 3.1.4 Algebras Over Variable Sets · 90 – 3.1.5 Graph- theoretic Preliminaries · 91 – 3.2 Graphoids and Conditional Independence Among Vari- ables · 100 – 3.2.1 Conditional Independence Among Variables · 100 – 3.2.2 RCI is a Gra- phoid · 101 – 3.2.3 Agenda · 103 – 3.3 Ranking Functions and Their Markov Graphs · 104 – 3.3.1 D-Maps, I-Maps, and Markov Properties · 104 – 3.3.2 Markov Blankets and Markov Boundaries · 106 – 3.4 Ranking Functions and Given Markov Graphs · 109 – 3.4.1 Po- tential Representation of Negative Ranking Functions · 109 – 3.4.2 Representations of Negative Ranking Functions by Markov Graphs · 111 – 3.5 RCI and Undirected Graphs · 118 – 3.6 Ranking Networks · 119 – 3.6.1 DAGs as Graphical Models · 119 – 3.6.2 Strict Linear 7 Contents Orderings on Variables · 121 – 3.6.3 Separation in Directed Graphs · 122 – 3.6.4 Directed Markov Properties · 123 – 3.6.5 Factorization in Directed Graphs · 128 – 3.6.6 Potential Representation of Ranking Networks · 130 – 3.7 Perfect Maps of Ranking Functions · 131 – 3.7.1 Ranking Functions and DAGs · 131 – 3.7.2 Characterization of CLs that have Perfect Maps · 133 – 3.7.3 Outlook: Can CLs Be Made DAG-isomorphic? · 136 IVB elief Propagation in Ranking Networks............... 137 4.1 Introduction · 137 – 4.2 Hunter’s Algorithm for Polytrees · 140 – 4.3 The LS- Strategy on Ranking Networks: An Outline · 142 – 4.4 Phase 1 – Triangulation and De- composition of the Network · 146 – 4.4.1 Methods for Obtaining the Clique Tree from the Initial Network · 146 – 4.4.2 Triangulating Graphs: A Brief Survey · 149 – 4.4.3 Desired Criteria for Triangulations of Graphs · 153 – 4.4.4 Generating the Elimination Ordering · 155 – 4.4.5 The MCS-M Algorithm · 158 – 4.4.6 Determining the Set of Cliques of the Fill-In-Graph · 159 – 4.4.7 Inline Recognition of Cliques · 161 – 4.4.8 Inline Tree Construction · 166 – 4.4.9 An Algorithm for Decomposing a Moralized Ranking Network · 171 – 4.4.10 A Digression on Triangulatedness and the Epistemic Domain · 174 – 4.5 Phase 2 – Message Passing on the Clique Tree · 176 – 4.5.1 Local Computation on Cliques · 176 – 4.5.2 Locally Available In- formation · 182 – 4.5.3 Pre-Initializing the Permanent Belief Base · 183 – 4.5.4 Bottom-Up Propagation: Conditional Ranks of the Cliques · 184 – 4.5.5 Top-Down Propagation: Joint Ranks of the Separators · 186 – 4.5.6 Processing Update Information · 188 – 4.5.7 Queries on the Clique Tree · 188 – 4.6 Conclusion · 189 – 4.6.1 Achievements · 189 – 4.6.2 Remarks on Aspects Not Discussed · 191 – 4.7 Outlook: Learning Ranking Networks and Induction to the Unknown · 191 AAC omputed Example for Decomposition ............... 193 BAC omputed Example for Updating ................. 199 2.1 The Ranking Network · 199 – 2.2 Initialization Phase · 200 – 2.2.1 Going Bottom-Up: Computing the Conditional Ranks · 203 – 2.2.2 Going Top-Down: Joint Ranks of the Cliques · 205 – 2.3 Update By New Evidence · 206 Acknowledgements ......................... 209 Index of Definitions ......................... 211 Index of Symbols .......................... 215 Index of Algorithms ........................