Fluctuations, Irreversibility and Causal Influence in Time Series
Total Page:16
File Type:pdf, Size:1020Kb
Fluctuations, irreversibility and causal influence in time series. DISSERTATION zur Erlangung des akademischen Grades Doctor of Philosophy (Ph.D.) im Fach Biophysik eingereicht an der Lebenswissenschaftlichen Fakultät der Humboldt-Universität zu Berlin von M.Sc. Andrea Auconi Präsidentin/Präsident der Humboldt-Universität zu Berlin: Prof. Dr.-Ing. Dr. Sabine Kunst Dekanin/Dekan der Lebenswissenschaftlichen Fakultät der Humboldt-Universität zu Berlin: Prof. Dr. Bernhard Grimm Gutachter/innen: 1. Prof. Dr. Dr. h.c. Edda Klipp 2. Prof. Dr. Igor Sokolov 3. Prof. Dr. Benjamin Lindner Tag der mündlichen Prüfung: 02.04.2019 https://doi.org/10.18452/19949 iii Abstract Information thermodynamics is the current trend in statistical physics. It is the theoretical research of a unified framework for the description of nonequilibrium features of stochastic dynamical systems like work dissipation and the irreversibility of trajectories, using the language of fluctuation theorems and information theory. The model-independent nature of information and irreversibility allows a wide ap- plicability of the theory to more general (nonphysical) models from systems biology and quantitative finance, where asymmetric interactions and nonlinearities are ubiq- uitous. In particular, we are interested in time series obtained from measurements or resulting from a time discretization of continuous models. In this thesis we study the irreversibility of time series considering the statistical properties of their time-reversal, and we derive a fluctuation theorem that holds for time series of signal-response models, and that links irreversibility and conditional information towards past. Interacting systems continuously share information while influencing each other dynamics. Intuitively, the causal influence is the effect of those interactions observed in terms of information flow over time, but its quantitative definition is still under debate in the community. In particular, we adopt the scheme of partial information decomposition (PID), that was recently defined in the attempt to remove synergistic and redundant effects from information-theoretic measures. Here we propose our PID, and motivate the resulting definition of causal influence for the special case of linear signal-response models. The thermodynamic role of causal influences can only be discussed for time series of linear signal-response models in the continuous limit, and its generalization to general time series remains in our opinion the open problem in information thermodynamics. Finally, we apply the time series irreversibility framework to quantify the dynamical response to perturbations in a molecular model of circadian rhythms. It results that, while the dynamics is mostly oscillating with 24h period, the response to perturba- tions measured by a mutual mapping irreversibility measure is highly characterized by 12h harmonics. v Zusammenfassung Informationsthermodynamik ist der aktuelle Trend in der statistischen Physik. Es ist die theoretische Konstruktion eines einheitlichen Rahmens für die Beschreibung der Nichtgleichgewichtsmerkmale stochastischer dynamischer Systeme, wie die Dissipation der Arbeit und die Irreversibilität von Trajektorien, unter Verwendung der Sprache der Fluktuationstheoreme und der Informationstheorie. Die modellunabhängige Natur von Information und Irreversibilität ermöglicht eine breite Anwendbarkeit der Theorie auf allgemeinere (nichtphysikalische) Modelle aus der Systembiologie und der quantitativen Finanzmathematik, in denen asym- metrische Wechselwirkungen und Nichtlinearitäten allgegenwärtig sind. Insbeson- dere interessieren wir uns für Zeitreihe, die aus Messungen gewonnen werden oder aus einer Zeitdiskretisierung kontinuierlicher Modelle resultieren. In dieser Arbeit untersuchen wir die Irreversibilität von Zeitreihen unter Berücksich- tigung der statistischen Eigenschaften ihrer Zeitumkehrung, und leiten daraus ein Fluktuationstheorem ab, das für Signal-Antwort-Modelle gilt, und das Irreversibilität sowie bedingte Informationen mit der Vergangenheit verknüpft. Interagierende Systeme tauschen kontinuierlich Informationen aus und beeinflussen sich gegenseitig. Intuitiv ist der kausale Einfluss der Effekt dieser Wechselwirkungen, der im Hinblick auf den Informationsfluss über die Zeit beobachtet werden kann, aber seine quantitative Definition wird in der Fachgemeinschaft immer noch diskutiert. Wir wenden insbesondere das Schema der partiellen Informationszerlegung (PID) an, das kürzlich definiert wurde, um synergistische und redundante Effekte aus informationstheoretischen Maßen zu entfernen. Hier schlagen wir unsere PID vor und diskutieren die resultierende Definition des kausalen Einflusses für den Sonderfall linearer Signal-Antwort-Modelle. Die thermodynamische Rolle kausaler Einflüsse kann nur für lineare Signal-Antwort- Modelle in der kontinuierlichen Grenze diskutiert werden, und ihre Verallgemeinerung auf allgemeine Zeitverläufe bleibt nach unserem Erachten das offene Problem in der Informationsthermodynamik. Schließlich wenden wir Informationsthermodynamik von Zeitreihen an, um die dynamische Reaktion auf Störungen in einem molekularen Modell zirkadianer Rhyth- men zu quantifizieren. Dies führt dazu, dass, während die Dynamik meistens im 24- Stunden-Takt oszilliert, die Reaktion auf Störungen stark von 12-Stunden-Rhythmen bestimmt wird. vi Zarathustra entgegnete: "Was erschrickst du „desshalb? - Aber es ist mit dem Menschen wie mit dem Baume. Je mehr er hinauf in die Hoehe und Helle will, um so staerker streben seine Wurzeln erdwaerts, abwaerts, in’s Dunkle, Tiefe, - in’s Boese." — Friedrich Nietzsche (EN) Zarathustra answered: "Why art thou frightened on that account?—But it is the same with man as with the tree. The more he seeketh to rise into the height and light, the more vigorously do his roots struggle earthward, downward, into the dark and deep—into the evil." [Ger12; Nie98] vii Contents 1 Introduction 1 1.1 Motivation and problem statement . 1 1.2 Thesis Structure and Summary . 3 1.2.1 Chapter 2 . 3 1.2.2 Chapter 3 . 4 1.2.3 Chapter 4 . 4 1.2.4 Chapter 5 . 5 1.2.5 Chapter 6 . 6 2 Stochastic differential equations 7 2.1 Why probabilistic descriptions? . 7 2.2 Brownian Motion . 8 2.2.1 The white noise representation . 10 2.3 Ornstein-Uhlenbeck process . 11 2.4 Spectral analysis of stochastic processes . 13 2.4.1 The Wiener-Khinchin-Einstein theorem . 14 2.4.2 Stochastic linear negative feedback loop . 16 2.4.3 Stochastic resonance . 18 2.5 Ito and Stratonovich interpretations of SDE . 18 2.5.1 Geometric Brownian motion . 21 2.6 Fokker-Planck equation . 21 2.7 Path integrals . 23 3 Information thermodynamics on bipartite systems 25 3.1 Shannon entropy . 25 3.1.1 Mutual information and transfer entropy . 27 3.2 Optimizing information transmission: the small-noise approximation 29 3.3 Jarzynski-Crooks nonequilibrium thermodynamics . 33 3.3.1 Work and heat dissipation in nonequilibrium Markovian systems 33 3.3.2 The Jarzynski nonequilibrium equality for free energy differences 35 3.3.3 Applicability and rare realizations . 36 3.4 Measurement information and feedback control . 39 3.4.1 Measurements and information . 40 3.4.2 Fluctuation theorems with feedback control . 43 ix 3.5 The Horowitz-Esposito approach . 47 3.5.1 Probability currents and entropy production . 48 3.5.2 Information flow and thermodynamic inequalities . 49 3.6 Information flow fluctuations in the feedback cooling model . 50 3.6.1 Modified dynamics, Onsager-Machlup action functionals, and the partial entropy production fluctuation theorem . 53 3.7 The II Law-like inequality for non-Markovian dynamics . 55 4 Causal influence 59 4.1 Introduction to the quantitative definition causal influence . 59 4.1.1 The basic linear response model . 63 4.2 Information decomposition and causal influence . 68 4.2.1 The idea behind the definition . 70 4.2.2 Causal influence properties in the BLRM . 71 4.2.3 Parameter study and asymptotic behavior . 74 4.2.4 Comparison with vector autoregressive models . 75 4.3 Multidimensional case: networks without feedbacks . 76 4.3.1 Feed-forward loop . 77 4.3.2 Competing influence . 81 4.4 Feedback systems and difficulties in the generalization . 83 5 Information thermodynamics on time series 87 5.1 Introduction . 87 5.2 Bivariate time series stochastic thermodynamics . 89 5.2.1 Introduction to stochastic thermodynamics . 89 5.2.2 Time series irreversibility measures . 92 5.2.3 The fluctuation theorem for signal-response models . 96 5.3 Applications . 97 5.3.1 The basic linear response model . 97 5.3.2 Receptor-ligand systems . 103 5.4 Discussion . 107 5.4.1 Appendix A: Mapping irreversibility in the BLRM . 109 5.4.2 Appendix B: Backward transfer entropy in the BLRM . 113 5.4.3 Appendix C: The causal influence rate converges to the Horowitz- Esposito information flow in the BLRM . 113 5.4.4 Appendix D: Numerical convergence of the mapping irre- versibility to the entropy production in the feedback cooling model . 115 5.4.5 Appendix E: Numerical estimation of the entropy production in the bivariate Gaussian approximation . 116 5.4.6 Appendix F: Lower bound and statistics . 117 6 Quantifying the effect of photic perturbations on circadian rhythms. 119 x 6.1 Circadian clock biology . 119 6.2 The circadian clock model . 121 6.3 Time series information thermodynamics of the perturbed circadian oscillations . 124 6.3.1 Spectral analysis . 126 6.3.2 The mutual irreversibility quantifies the photic entrainment out of equilibrium . 126 6.3.3 Mutual irreversibility oscillations . 129 7 Conclusions 133