Dynamics of Complex Autonomous Boolean Networks vorgelegt von Physiker David Rosin (MSc) aus Berlin von der Fakultät II — Mathematik und Naturwissenschaften der Technischen Universität Berlin zur Erlangung des akademischen Grades Doktor der Naturwissenschaften — Dr. rer. nat. — genehmigte Dissertation Promotionsausschuss: Vorsitzender: Prof. Dr. Thomas Möller Berichter/Gutachter: Prof. Dr. Eckehard Schöll, PhD Berichter/Gutachter: Prof. Daniel J. Gauthier, PhD Tag der wissenschaftlichen Aussprache: 20. Juni 2014 Berlin 2014 D 83 The research that lead to this thesis was mainly carried out at Duke University. David Rosin: Dynamics of Complex Autonomous Boolean Networks, © 20. Juni 2014 ABSTRACT Network science provides a powerful framework for analyzing complex sys- tems found in physics, biology, and social sciences. One way of studying the dynamics of networks is to engineer and measure them in the laboratory, which is particularly difficult with established approaches. In this thesis, I approach this problem using a hardware device with time-delay elements executing Boolean functions that can be connected to autonomous Boolean networks with chaotic, periodic, or excitable dynamics. I am able to make scientific discoveries for networks with each of these three different node dynamics, driven by the large flexibility and the non-ideal effects of the experiment complemented by analytical and numerical investigations. Using network realizations with periodic Boolean oscillators, I study so- called chimera states and find that they can disappear and reappear—the resurgence of chimera states. I measure the transient times of chimera states and find a power-law relationship between the average transient time and the phase space volume with an exponent of k = −0.28 ± 0.10. I also study cluster synchronization in networks of coupled excitable sys- tems. In these artificial neural networks, I find a breakdown of an estab- lished theoretical tool when the heterogeneity of the link time delays is greater than the neural refractory period. This phenomenon is used to de- rive a control scheme for spiking patterns generated by neural networks. Experimental implementations of these systems take advantage of the fast timescale of electronic logic gates, large scalability, and low price. These properties make the system attractive for technological applications, as I demonstrate by realizing a physical random number generator that has an ultra-high bitrate of 12.8 Gbit/s and a silicon neuron that is a thousand times faster than the fastest preceding silicon neuron. For the study of cou- pled oscillator networks, I develop a phase-locked loop allowing for multi- ple drivers that may be advantageous for clock synchronization. Instead of the common topologies with one driver per oscillator, it allows for heavily connected clock networks to increase robustness against failure. iii ZUSAMMENFASSUNG Netzwerkforschung hat stark zu neuen Erkenntnissen in Physik, Biologie und den Sozialwissenschaften beigetragen. Die Dynamik von Netzwerken kann im Labor untersucht werden, jedoch ist dies mit etablierten Versuchs- aufbauten schwierig. Die in dieser Arbeit verwendete Untersuchungsme- thode basiert auf einem Logikchip, auf dem Zeitverzögerungselemente mit Boolescher Dynamik zu sogenannten autonomen Booleschen Netzwerken verbunden werden. Ich zeige, dass in geeigneten Schaltkreisen chaotische, periodische und erregbare Dynamiken unterschieden werden können. Mit Hilfe dieser dynamischen Systeme können wiederum weitere Netzwerke konstruiert und untersucht werden. In meiner Arbeit fasse ich die wissen- schaftlichen Erkenntnisse zusammen, die ich in Netzwerken jeder dieser drei Dynamiken gefunden habe. Die große Flexibilität der experimentel- len Methode und die nicht-idealen Effekte der Logikbausteine helfen mir, neue wissenschaftliche Erkenntnisse zu erlangen. Die experimentellen Er- gebnisse werden ergänzt durch numerische Simulationen und analytische Untersuchungen. In Netzwerken Boolescher periodischer Oszillatoren untersuche ich Chimera-Zustände und entdecke eine neue Dynamik, die ich wiederaufer- stehende Chimera-Zustände nenne. Die Untersuchung des transienten Ver- haltens dieser dynamischen Zustände ergibt ein Potenzgesetz zwischen der durchschnittlichen Lebensdauer und dem Phasenraumvolumen mit einem Exponenten von k = −0.28 ± 0.10. Netzwerke Boolescher erregbarer Systeme, sogenannte Boolesche Neuro- nen, zeigen Gruppen-Synchronisation. Ich finde, dass eine etablierte Theo- rie für diese Dynamik dann nicht gilt, wenn die Heterogenität der Zeitver- zögerungen im Netzwerk größer als die neuronale Refraktärzeit ist. Mit Hilfe dieses Phänomens können neuronale Synchronisationszustände kon- trolliert werden. Die von mir verwendete Untersuchungsmethodik weist erhebliche Vor- teile auf. Experimentelle Realisierungen dieser Systeme funktionieren auf schnellen Zeitskalen, erlauben massive Parallelisierung und sind günstig herzustellen. Diese Eigenschaften sind attraktiv für vielfältige Anwendung- en, wie die Implementierung eines physikalischen Zufallszahlgenerators mit einer hohen Rate von 12.8 Gbit/s unter Verwendung eines Netzwerkes chaotischer Dynamik. Außerdem identifiziere ich mögliche Anwendungen der Booleschen Neuronen, die tausendmal schneller als etablierte künstli- che Neuronen sind, und der Booleschen Oszillatoren, die die Robustheit von Netzwerken synchronisierter Uhren erhöhen können. iv PUBLICATIONS Most of the results in this thesis appeared previously in the following pub- lications: • D. P. Rosin, D. Rontani, D. J. Gauthier, and E. Schöll. Control of synchronization patterns in neural-like Boolean networks. Phys. Rev. Lett., 110, 104102 (2013). • D. P. Rosin, D. Rontani, and D. J. Gauthier. Ultrafast physical gener- ation of random numbers using hybrid Boolean networks. Phys. Rev. E 87, 040902(R) (2013). • D. P. Rosin, D. Rontani, D. J. Gauthier, and E. Schöll. Excitability in autonomous Boolean networks. Europhys. Lett. 100, 30003 (2012). • D. P. Rosin, D. Rontani, D. J. Gauthier, and E. Schöll. Experiments on autonomous Boolean networks. Chaos 23, 025102 (2013). • D. P. Rosin, D. Rontani, and D. J. Gauthier. Synchronization of cou- pled Boolean phase oscillators. Phys. Rev. E 89, 042907 (2014). • D. P. Rosin, D. Rontani, E. Schöll, and D. J. Gauthier. Transient scaling and resurgence of chimera states in coupled Boolean phase oscillators. Submitted for publication, arXiv:1405.1950 (2014). • D. Rontani, D. P. Rosin, D. J. Gauthier, and E. Schöll. Autonomous time-delayed Boolean networks using FPGAs. Proc. 2012 Internat. Symposium on Nonlinear Theory and its Applications (NOLTA2012), 391- 394 (2012). Furthermore, the following publications include my previous work essen- tial for the study of excitable autonomous Boolean networks in this thesis: • D. P. Rosin, K. E. Callan, D. J. Gauthier, and E. Schöll. Pulse-train so- lutions and excitability in an optoelectronic oscillator. Europhys. Lett., 96, 34001 (2011). • A. Panchuk, D. P. Rosin, P. Hövel, and E. Schöll. Synchronization of coupled neural oscillators with heterogeneous delays. Int. J. Bif. Chaos, 23, 1330039 (2013). v CONTENTS 1 introduction 1 1.1 Network Description of Complex Systems 1 1.2 Dynamics of Complex Networks 2 1.3 Challenges and Rewards of Experimental Network Realiza- tions 4 1.4 Boolean Networks 5 1.5 Overview 6 2 previous work on boolean networks 8 2.1 Abstract 8 2.2 Synchronous and Autonomous Boolean Networks 8 2.3 Boolean Network Models 9 2.3.1 Kauffman Networks 9 2.3.2 Boolean Delay Equations 11 2.3.3 Piecewise-Linear Differential Equations 12 2.3.4 Overview of Boolean Network Models 14 2.4 Electronic realizations of Boolean Networks 15 2.4.1 Autonomous Boolean Network by Zhang and Collab- orators 16 2.4.2 Boolean Chaos 17 2.5 Conclusion 18 3 autonomous boolean networks on electronic chips 19 3.1 Abstract 19 3.2 Field-Programmable Gate Arrays 19 3.2.1 Architecture of Field-Programmable Gate Arrays 20 3.2.2 Autonomous Mode of Operation 22 3.2.3 Non-Ideal Effects of Autonomous Logic Gates 22 3.3 Design Flow of Implementing Autonomous Boolean Networks on Electronic Chips 23 3.3.1 Hardware Description for Autonomous Boolean Net- works 24 3.3.2 Chip Placement of Autonomous Boolean Networks 26 3.3.3 Resulting Dynamics 26 3.4 Conclusion 27 4 chaotic dynamics of autonomous boolean networks 28 4.1 Abstract 28 4.2 Introduction to Deterministic Chaos 28 4.2.1 Lyapunov Exponent 30 4.2.2 Strong and Weak Chaos 30 4.3 Delayed-Feedback XNOR Oscillator 32 vi contents vii 4.3.1 Motivation for Developing a New Chaotic Oscillator 32 4.3.2 Search for a Simplified Network Topology 32 4.3.3 Setup of the Delayed-Feedback XNOR Oscillator 37 4.4 Dynamics of the Delayed-Feedback XNOR Oscillator 38 4.4.1 Dynamics Measured from the Experiment 38 4.4.2 Boolean Network Model for the Chaotic Dynamics 41 4.4.3 Transition to Chaos 45 4.5 Conclusion 47 5 ultra-fast physical generation of random numbers using hybrid boolean networks 48 5.1 Abstract 48 5.2 Introduction to Random Number Generation 48 5.2.1 Application of Random Numbers to Private Commu- nication 49 5.2.2 Pseudorandom and Physical Random Number Gener- ation 50 5.2.3 Desired Statistical Properties of Random Numbers and Post-Processing 52 5.2.4 Utilization of Autonomous Boolean networks for Ran- dom Number Generation 54 5.3 Hybrid Boolean Network Approach 56 5.3.1 Dynamics of the XOR Ring Network 56 5.3.2 Characterization of Boolean Complexity 59 5.3.3 Modeling Results for the Dynamics of the XOR Ring Network 62 5.3.4 Modeling Results for Boolean