SpoookyJS Ein multiagentenbasiertes JavaScript-Framework zur flexiblen Implementation digitaler browserbasierter Brettspiele und spielübergreifender künstlicher Intelligenz Inauguraldissertation zur Erlangung des Doktorgrades der Philosophischen Fakultät der Universität zu Köln im Fach Historisch-Kulturwissenschaftliche Informationsverarbeitung vorgelegt von Jan Gerrit Wieners Datum der Disputation: 14.01.2015 1. Referent: Prof. Dr. Manfred Thaller 2. Referent: Prof. Dr. Reinhard Förtsch Vergleiche: wissen und sagen: wieviele m hoch der Mont-Blanc ist – wie das Wort „Spiel“ gebraucht wird – wie eine Klarinette klingt. Wer sich wundert, daß man etwas wissen könne, und nicht sagen, denkt vielleicht an einen Fall wie den ersten. Gewiß nicht an einen wie den dritten. - Wittgenstein: Philosophische Untersuchungen, §7 Abstract Künstliche Intelligenz in digitalen Spielen ist zumeist Anwendungsdomäne komplexer spielspezifischer Softwarelösungen mangelnder Erweiterbarkeit. Die vorliegende Arbeit beschäftigt sich mit der Konzeption und Realisierung des JavaScript-Frameworks SpoookyJS, das die vereinfachte Erstellung browserbasierter digitaler Brettspiele ermöglicht. Entwickelt als Multiagentensystem, bietet SpoookyJS künstliche Gegner in den umgesetzten Spielen und fungiert als Test- und Entwicklungsumgebung für die Forschung um spielübergreifende artifizielle Entscheidungsfindung. Schlagwörter: Computational Intelligence, Digitale Brettspiele, General Game Playing, Künstliche Intelligenz, Monte Carlo Spielbaumsuche. Inhaltsverzeichnis 1 Einleitung ....................................................................................................... 15 1.1 Fragestellung und Ziel der Arbeit .......................................................... 16 1.2 Aufbau und Verlauf der Arbeit .............................................................. 19 2 Von einer ehrenhaften Täuschung – Zum Gegenstand der künstlichen Intelligenz ....................................................................................................... 23 2.1 Über den Schachspieler des Herrn von Kempelen ................................ 24 2.2 Fokussierungsweisen künstlicher Intelligenz ........................................ 28 2.2.1 Menschliche vs. nichtmenschliche Intelligenz – Der Turing-Test ................................................................................................... 31 2.2.2 Schwache vs. starke künstliche Intelligenz ................................ 35 2.2.3 Künstliche Intelligenz und das Konzept der Rationalität........... 38 2.3 Intelligente Agenten .............................................................................. 40 2.3.1 Agentenfunktion und Agentenautonomie ................................ 43 2.3.2 Agentenumwelt ......................................................................... 44 2.3.3 Brettspielumgebungen .............................................................. 47 2.3.4 Aufbau und Struktur von Agenten ............................................ 48 2.3.5 Lernvermögen ........................................................................... 50 2.4 Brettspiele, Drosophila künstlicher Intelligenz ..................................... 53 2.5 Methodendifferenzierung – Künstliche Intelligenz und Computational Intelligence ............................................................................................ 56 2.6 Zusammenfassung ................................................................................. 60 3 Von Huizinga nach Γ – Theorien des Spieles .................................................. 61 3.1 Spielarten von Spieltheorien ................................................................. 62 3.2 Huizingas Homo Ludens ........................................................................ 65 3.3 Juuls klassisches Spielmodell ................................................................. 67 3.3.1 Spielregeln ................................................................................. 69 3.3.2 Spiel- und Zugregelatome ......................................................... 70 3.3.3 Zusammenfassung ..................................................................... 71 3.4 Spieltheorie nach von Neumann und Morgenstern ............................. 73 3.4.1 Spiel und Spielpartie, Zug und Zugwahl .................................... 74 3.4.2 Das Spiel Γ in Normalform ......................................................... 76 3.4.3 Das Gefangenendilemma .......................................................... 79 3.4.4 Dominante Strategien und das Nash-Gleichgewicht ................ 81 3.4.5 Kooperatives und egoistisches Agieren..................................... 82 3.4.6 Strategien und Entscheidungen ................................................ 84 3.4.7 Wie du mir, so ich dir: das wiederholte Gefangenendilemma . 86 3.4.8 Nullsummenspiele ..................................................................... 87 3.4.9 Sequentielle Entscheidungen: Spielbaum und Extensivform.... 89 3.5 Zusammenfassung ................................................................................. 95 4 Artifizielles Spielvermögen in digitalen Brettspielen – Methoden und Implementationen ......................................................................................... 96 4.1 Künstliche Intelligenz als Suche nach optimalen Spielentscheidungen 97 4.1.1 Problemlösen durch Suchen – Elementare Suchverfahren ...... 98 4.1.1.1 Breiten- und Tiefensuche .......................................... 101 4.1.1.2 Iterativ vertiefende Tiefensuche ............................... 102 4.1.2 Minimax-Algorithmus .............................................................. 104 4.1.3 Negamax-Algorithmus ............................................................. 109 4.1.4 Alpha-Beta Kürzung ................................................................. 110 4.1.5 Berücksichtigung dediziertes Spielwissens – die Heuristische Evaluierungsfunktion ............................................................... 118 4.1.6 Optimierungen und Ergänzungen der Alpha-Beta Kürzung .... 121 4.1.6.1 Zugvorsortierung ....................................................... 122 4.1.6.2 Killerzüge und Killerheuristik ..................................... 123 4.1.6.3 Nullzug-Suche ............................................................ 124 4.1.6.4 Ruhesuche ................................................................. 125 4.1.6.5 Zugumstellungstabellen ............................................ 127 4.1.7 State of the Art: Ausgewählte KI-Implementationen .............. 128 4.1.7.1 Perfektes Damespiel: Chinook .................................. 129 4.1.7.2 Der erste nichtmenschliche Schachweltmeister: Deep Blue ............................................................................ 131 4.1.7.3 Meisterliches Schachspiel mit beschränkten Ressourcen: Stockfish ................................................ 133 4.1.8 Zusammenfassung ................................................................... 134 4.2 Künstliche Intelligenz und das Moment des Zufalls – Monte Carlo Verfahren............................................................................................. 136 4.2.1 Monte Carlo Simulation .......................................................... 138 4.2.2 Monte Carlo Spielbaumsuche ................................................. 140 4.2.3 Mehrarmige Banditen, UCB und UCT ...................................... 144 4.2.4 AMAF und RAVE ...................................................................... 150 4.2.5 Laufzeitoptimierung: Parallelisierung und Multithreading ..... 152 4.2.6 Monte Carlo Verfahren und digitale Brettspiele ..................... 155 4.2.7 Zusammenfassung ................................................................... 160 4.3 Computational Intelligence und digitale Brettspiele .......................... 161 4.3.1 Künstliche neuronale Netze .................................................... 162 4.3.1.1 Aufbau und Aktivierungsfunktion eines Neurons ..... 163 4.3.1.2 Netztopologien .......................................................... 166 4.3.1.3 Ausbreitungsregel ..................................................... 169 4.3.1.4 Lernregeln ................................................................. 169 4.3.1.5 Lernmethoden ........................................................... 170 4.3.1.6 Fehlerrückführung ..................................................... 171 4.3.1.7 Mehrschichtige Perzeptren und Backgammon ......... 172 4.3.2 Lernen durch Verstärkung ....................................................... 175 4.3.2.1 Markov-Entscheidungsprozesse................................ 176 4.3.2.2 Dynamische Programmierung und Wertiteration .... 177 4.3.2.3 Lernen anhand temporaler Differenz ....................... 179 4.3.2.4 TD(0) und TD(λ) ......................................................... 181 4.3.2.5 Q-Lernen .................................................................... 182 4.3.2.6 Q-Lernen – Ein Anwendungsbeispiel ........................ 188 4.3.2.7 State of the Art: Meisterhaftes Backgammonspiel auf Grundlage verstärkenden Lernens ............................ 193 4.3.2.8 Verstärkendes Lernen in unterschiedlichen Brettspieldomänen .................................................... 195 4.3.3 Zusammenfassung ................................................................... 198 5 Spielübergreifende künstliche Intelligenz(en) – General Game Playing ..... 200 5.1 Zillions of Games ................................................................................