Neural Networks, Game Theory and Time Series Generation A x5 A A h 1 x4 c11 c 12c 13 xA hA 3 2 c21 c22 c23 A x2 hA 3 c31 c32 c 33 A x1 B BB A h1h 2 h3 x0 B BBBBB x0 x1 x2 x3 x4 x 5 Richard Metzler arXiv:cond-mat/0212486v1 [cond-mat.dis-nn] 19 Dec 2002 Institut f¨ur Theoretische Physik und Astrophysik Bayerische Julius-Maximilians-Universit¨at W¨urzburg 2002 Neural Networks, Game Theory and Time Series Generation Dissertation zur Erlangung des naturwissenschaftlichen Doktorgrades der Bayerischen Julius-Maximilians-Universit¨at W¨urzburg vorgelegt von Richard Metzler aus W¨urzburg Institut f¨ur Theoretische Physik und Astrophysik Bayerische Julius-Maximilians-Universit¨at W¨urzburg September 2002 Eingereicht am 3.9.2002 bei der Fakult¨at f¨ur Physik und Astronomie Beurteilung der Dissertation: 1. Gutachter: Prof. Dr. W. Kinzel 2. Gutachter: Prof. Dr. G. Reents M¨undliche Pr¨ufung: 1. Pr¨ufer: Prof. Dr. W. Kinzel 2. Pr¨ufer: Prof. Dr. A. Haase Tag der m¨undlichen Pr¨ufung: 1.10.2002 Zusammenfassung Das kollektive Verhalten von Systemen aus vielen wechselwirkenden Komponen- ten ist traditionell ein Hauptthema der statistischen Physik. In den letzten Jahren sind verst¨arkt auch ¨okonomische Systeme wie z.B. Aktienm¨arkte unter- sucht worden, deren “Komponenten” (Menschen und Firmen) durch Agenten mit vereinfachten Entscheidungregeln (beispielsweise durch neuronale Netze) model- liert wurden. Von besonderem Interesse sind dabei auch die Zeitreihen, die durch solche Systeme erzeugt werden, und die F¨ahigkeit der Agenten, aus den Zeitreihen Informationen zu beziehen. Kapitel 2 dieser Arbeit widmet sich dem Konzept der antivorhersagbaren Zeitreihen: zu jedem Vorhersagealgorithmus gibt es eine Zeitreihe, f¨ur die er v¨ollig versagt. Die Eigenschaften dieser Zeitreihen werden f¨ur drei spezielle Algorithmen untersucht und mit denen von gut vorhersagbaren Zeitreihen verglichen. Aspekte von Interesse sind zum Beispiel die L¨ange von Zyklen bei diskreten Zeitreihen, chaotisches Verhalten bei kontinuierlichen Zeitreihen und die Unterdr¨uckung von Korrelationen, auf die der Algorithmus empfindlich ist, bei antivorhersagbaren Zeitreihen. Der erste Algorithmus, der untersucht wird, ist das einfache Perzeptron, bei dem die Dynamik des Gewichtsvektors eine Reihe von Aussagen ¨uber die Autokor- relationen der erzeugten Zeitreihe zul¨asst. Eine eventuelle praktische Anwendung zur Erzeugung bin¨arer Zeitreihen mit maßgeschneiderten Autokorrelationsfunk- tionen wird el¨autert. Der zweite Algorithmus, ein kontinuierliches Perzeptron, stellt sich als kom- plizierte nichtlineare Abbildung heraus, mit hochdimensionalem Chaos und in- termittentem Verhalten. Nach einer Mean-Field-Rechnung zur Ermittlung der statistischen Eigenschaften der erzeugten Zeitreihe wird das Verhalten in Ab- h¨angigkeit von Systemgr¨oße und Verst¨arkungsparameter untersucht und Lyapu- nov-Exponenten und Attraktordimension ermittelt. Der dritte Vorhersagealgorithmus benutzt Boolesche Funktionen. Einige Ei- genschaften der erzeugten Zeitreihe lassen sich durch graphentheoretische Ans¨atze beweisen, z.B. die L¨ange und Anzahl von Zyklen. Die Erfolgsaussichten von gle- ichartigen Vorhersagealgorithmen mit l¨angerem oder k¨urzerem Ged¨achtnis wer- den untersucht. Kapitel 3 beschreibt verschiedene Varianten des Minorit¨atsspiels, bei dem eine gr¨ossere Anzahl von Spielern sich unabh¨angig voneinander f¨ur eine von zwei M¨oglichkeiten entscheiden soll und diejenigen gewinnen, die in der Minderheit sind. Besonderes Augenmerk gilt den Varianten, die von unserer Arbeitsgruppe eingef¨uhrt wurden: eine korrekte und vollst¨andigere Betrachtung von neuronalen Netzen im Minorit¨atsspiel wird angestellt; die stochastische Strategie von Reents und Metzler wird vorgestellt und analytisch gel¨ost; und es wird gezeigt, dass eine Verallgemeinerung auf mehr als zwei Wahlm¨oglichkeiten f¨ur alle g¨angigen Strategien m¨oglich ist und qualitativ vergleichbare Ergebnisse bringt. Eine Verbindung zu Kapitel 2 wird dadurch geschaffen, dass bei vielen Vari- anten in bestimmten Parameterbereichen die Zeitreihe der Entscheidungen gen¨a- hert werden kann durch die antivorhersagbare Zeitreihe eines einzelnen Algorith- mus, der die Mehrheit der Spieler repr¨asentiert. Kapitel 4 beleuchtet eine andere Verbindung zwischen neuronalen Netzen und Spieltheorie: hier versucht ein neuronales Netz, in einem Zwei-Spieler-Null- summenspiel durch wiederholtes Spielen und Anpassen der Gewichte eine gute Spielstrategie zu entwickeln. Eine Abwandlung von Hebbschem Lernen wird un- tersucht, die n¨aherungsweise die Nash-Gleichgewichtsstrategie des Spiels finden kann. Die Eigenschaften dieser Regel lassen sich f¨ur kleine Auszahlungsmatrizen analytisch angeben, f¨ur große Matrizen mit zuf¨alligen Eintr¨agen k¨onnen Ab- sch¨atzungen gemacht werden. Beim Lernen von Mustern mit Vorzugsrichtung (wie zum Beispiel Zeitreihen- mustern) muss dieser Algorithmus jedoch modifiziert werden. Die dann nahe- liegende Variante (die ebenfalls aus Hebbschem Lernen abzuleiten ist), stellt sich als Abwandlung eines bekannten Lernalgorithmus f¨ur Matrixspiele heraus. Contents 1 Introduction 3 1.1 NeuralNetworks ........................... 3 1.2 Timeseriesgeneration ........................ 4 1.3 Gametheory ............................. 4 1.4 Anoutlineofthiswork........................ 5 2 Antipredictable time series 6 2.1 Prediction of time series . 6 2.2 Simple Perceptrons: the Confused Bit Generator . 10 2.2.1 Sequence generation by a static perceptron: the Bit Gen- erator ............................. 10 2.2.2 Hebbian Learning: the Confused Bit Generator . 11 2.2.3 Dynamicsoftheweightvector . 12 2.2.4 TheBernasconimodel . 14 2.2.5 Shaping the autocorrelation function . 17 2.2.6 Distribution of cycles . 18 2.2.7 SummaryoftheCBG .................... 19 2.3 Continuous Perceptrons: the Confused Sequence Generator .... 20 2.3.1 Continuous perceptrons with fixed and adaptiveweights ....................... 20 2.3.2 Mean-field solution . 21 2.3.3 Autocorrelation function . 23 2.3.4 Cyclesandattractors. 24 2.3.5 Chaotic dynamics and Lyapunov exponents . 25 2.3.6 SummaryoftheCSG..................... 29 2.4 DecisionTables ............................ 29 2.4.1 Decision tables and DeBruijn graphs . 29 2.4.2 Statictables.......................... 31 2.4.3 Dynamic tables: complete antipersistence . 32 2.4.4 Propertiesofcycles ...................... 34 2.4.5 Stochastic antipersistence . 38 2.4.6 Summary of antipersistent time series . 40 1 3 The Minority Game and its variations 42 3.1 Introduction.............................. 42 3.2 RulesoftheMinorityGame . .. .. 43 3.3 ThestandardMinorityGame . 44 3.4 NeuralNetworksintheMG . .. .. 46 3.4.1 Ensemblesofvectors . .. .. 46 3.4.2 HebbianLearning....................... 48 3.5 Johnson’sevolutionaryMG . 51 3.6 Reents’andMetzler’sstochasticMG . 52 3.6.1 Solution for small p ...................... 54 3.6.2 Solution for large p ...................... 55 3.6.3 Mixed strategy populations & susceptibility to noise . 58 3.6.4 Correlations in the time series . 61 3.6.5 Relation to the original MG . 62 3.7 Multi-choiceMGs........................... 64 3.7.1 RandomGuessing....................... 64 3.7.2 NeuralNetworks ....................... 66 3.7.3 Decision tables . 73 3.7.4 Johnson’s evolutionary MG . 74 3.7.5 Reents’ andMetzler’s stochastic strategy . 79 3.8 SummaryandremarksontheMinorityGame . 81 4 Neural Networks in Two-Player Games 84 4.1 Anoverviewovergametheory . 84 4.1.1 Combinatorialgametheory . 85 4.1.2 Economicgametheory . 85 4.1.3 Evolutionarygametheory . 86 4.2 Zero-sumgames............................ 87 4.2.1 Nash equilibria . 88 4.3 Multi-ChoicePerceptrons . 89 4.4 Learningfromunbiasedpatterns. 91 4.4.1 Generating a probability distribution . 91 4.4.2 Learningrule ......................... 92 4.4.3 The case of K =2 ...................... 93 4.4.4 Large K ............................ 95 4.5 Learningfrombiasedpatterns . 104 4.6 Summary ............................... 109 5 Conclusion and outlook 111 A Notation 113 2 Chapter 1 Introduction “Neural Networks, Game Theory and Time Series Generation” – the title of this dissertation contains three fields of research that are so broad that bookshelves full of literature have been written on each one of them. Consequently, I will start with a disclaimer: this dissertation is not a textbook, and it cannot give exhaustive accounts of each field. Instead, it is my aim to present several projects which connect the three fields. Although more elaborate introductions to the ideas and formalisms needed to understand the projects will be given in the individual chapters, I will start with a brief overview over the fields and an outline of the dissertation. 1.1 Neural Networks In an attempt to understand the workings of animal and human nerve systems, simple mathematical models of nerve cells (neurons) have been devised, which can be combined into artificial neural networks of considerable complexity. The simplest building block of these networks, the McCulloch-Pitts neuron [1], is in- teresting enough when studied in isolation. This network, which is then called a simple perceptron, can perform limited, but nontrivial, feats of storing, clas- sification, and learning of unknown rules [2, 3, 4]. It formalizes two feature of biological neurons: they receive signals from other cells via synaptic connections, and they are active if the added input exceeds some threshold, and inactive if it does not. For increasing complexity and realism, compared to the simple perceptron, two directions