This thesis entitled Dynamics of message interchange between stochastic units in the contexts of human communication behaviour and spiking neurons Written by Andreas Kaltenbrunner And directed by Prof. Dr. Vicente López Has been approved by the Department of Information and Communication Technologies Barcelona, November 2007 A thesis submitted in partial fulfillment of the requirements for the Degree of Doctor per la Universitat Pompeu Fabra Dipòsit legal: B.37817-2008 ISBN: 978-84-692-0970-7 Para Yolanda y Nikolas iv Agradecimientos Quisiera agradecer a mi tutor de tesis, Vicente López, el haber confiado en mí cuando me pre- senté en su despacho hace cuatro a nos, diciéndole que quería hacer un doctorado sin saber ni dónde me metía ni qué significaba hacer ciencia. Por darme esa oportunidad de crecimiento personal, pro- fesional e intelectual que significa hacer un doctorado. No sólo ha estado siempre disponible para compartir conmigo sus amplios conocimientos, sino que ha sabido transmitirme lo esencial de la ciencia: los mecanismos básicos para a la generación y presentación de nuevos conocimientos. También quisiera agradecer a quienes han contribuido en la realización de este trabajo: Ayman Moghnieh, Rodrigo Meza, Josep Blat y sobre todo a Vicenç Gómez por un sinfín de discusiones y por estar siempre disponible para ayudar en la solución de cualquier problema. Tampoco puedo olvidarme de quienes me han ayudado con sus comentarios a mejorar el trabajo presentado: Alberto Suárez, Serge Thill, Adan Garriga, Ernest Montbrió, Anders Ledberg, Alex Roxin y Gustavo Deco. Muchas gracias también a los organizadores de mi estancia en la University of Leicester: Ralph Andrzejak y sobre todo a Rodrigo Quian Quiroga, por su cordial acogida. Gracias a mis compañeros de doctorado por compartir buenos y malos momentos y por acom- pañarme en una parte tan importante de mi vida. Y por último, aunque sin restarles por ello protagonismo, doy las gracias a mis padres y a mis hermanos Martin y Karin, y de manera muy especial a Nikolas por llenar mi vida con sus risas y a Yolanda por apoyarme siempre. v vi Agradecimientos Abstract This thesis deals with two different subjects concerning dynamics of message interchange be- tween stochastic units. First, we discuss a theoretical model of an ensemble of stochastic non-leaky integrate-and-fire neurons with global, delayed and excitatory coupling and a small refractory period. Simulations with adiabatic changes of the coupling strength indicate the presence of a phase transition accompanied by a hysteresis around a critical coupling strength. Below the critical coupling production of spikes in the ensemble is governed by the stochastic dynamics whereas for coupling greater than the critical value the stochastic dynamics looses its influence and the units organize into several clusters with self- sustained activity. All units within one cluster spike in unison and the clusters themselves are phase- locked. Theoretical analysis leads to upper and lower bounds for the average inter-spike interval of the ensemble valid for all possible coupling strengths. The bounds allow to calculate the limit behavior for large ensembles and characterize the phase transition analytically. These results may be extensible to pulse coupled oscillators. The second part is focused on the analysis of human communication behavior. We examine the many-to-many social communication activity on the popular technology-news website Slashdot. To find regular patterns in the activity we have concentrated in the dynamics of message production without considering semantic relations. Regular temporal patterns have been found in the reaction times of both the community and single users to a news-post. The statistics of these activities follow log-normal distributions. Daily and weekly oscillatory cycles, which cause slight variations of this simple behavior, are identified. The findings are remarkable since the distribution of the number of comments per users, which is also analyzed, indicates a great amount of heterogeneity in the community. The reader may find surprising that only a few parameters, allow a detailed description, or even prediction, of social many-to-many information exchange in this kind of popular public spaces. vii viii Abstract Resumen Esta tesis trata de dos temas diferentes referente a la dinámica de intercambio de mensajes entre unidades estocásticas. Primero, discutimos un modelo teórico de un conjunto de neuronas estocásticas tipo integración- y-disparo con integración sin pérdidas, un pequeño periodo refractario, y con acoplamiento global y retardado. Simulaciones con cambios adiabáticos de la fuerza del acoplamiento indican la presencia de una transición de fase acompañada por una histéresis alrededor de un valor crítico de la fuerza del acoplamiento. Por debajo del acoplamiento crítico la producción de disparos es gobernada por la dinámica estocástica, mientras que por encima del valor crítico la dinámica estocástica pierde su influencia y las unidades se organizan en varios subgrupos con actividad auto-sostenida. Todas las unidades de un subgrupo disparan al unísono y los subgrupos entre sí están sincronizados fuera de fase. Un análisis teórico lleva a cotas superiores e inferiores para el promedio del tiempo entre dos disparos de la población. Estas cotas son válidas para todos los posibles valores de la fuerza del acoplamiento. Las cotas permiten calcular el comportamiento límite para conjuntos grandes y caracterizar la transición de fase analíticamente. Estos resultados pueden ser extensibles a osciladores acoplados por pulsos. La segunda parte se centra en el análisis de patrones de comportamiento en comunicación hu- mana. Examinamos la actividad causada por comunicación entre comunidades de usuarios en Slash- dot, un popular sitio web de noticias relacionados con tecnología. Para encontrar patrones regulares en la actividad nos hemos concentrado en la dinámica de producción de mensajes sin considerar rela- ciones semánticas. Se han encontrado patrones regulares en el tiempo de reacción a una nueva noticia tanto para la comunidad como para usuarios individuales. La estadística de estas actividades sigue distribuciones log-normales. Se identifican ciclos oscilatorios diarios y semanales, que causan varia- ciones leves de este simple comportamiento. Los resultados son notables puesto que la distribución del número de comentarios por usuarios, también analizada en este estudio, indica una gran cantidad ix x Resumen de heterogeneidad en la comunidad. El lector puede encontrar sorprendente que pocos parámetros, permiten una descripción detallada y pueden permitir la predicción del intercambio social de infor- mación entre multitudes en esta clase de espacios públicos populares. Contents Agradecimientos ....................................... v Abstract ............................................ vii Resumen ............................................ ix Table of Contents ....................................... xi List of Figures ......................................... xv List of Tables ......................................... xvii Introduction 1 I Theoretical Background 5 1 Synchronization 7 1.1 Introduction ....................................... 7 1.2 Forms of locking and synchronization in periodic oscillators ............. 7 1.2.1 Weakly coupled oscillators ........................... 8 1.2.2 Pulse coupled oscillators ............................ 10 2 Diffusion models 11 2.1 Wiener Process ..................................... 11 2.2 Stochastic accumulation process ............................ 12 2.3 The diffusion process in human and animal behavior models ............. 12 2.4 The diffusion process in neural models ......................... 14 2.4.1 The stochastic integrate and fire model .................... 14 2.4.2 Pulse coupled oscillators ............................ 15 2.4.3 Discrete integrate-and-fire model ....................... 16 2.4.4 Discrete stochastic integrate-and-fire model .................. 16 II Neural populations 19 3 Introduction to message interchange in neural populations 21 xi xii Contents 4 Neural model and experimental procedures 25 4.1 A discrete model of an stochastic integrate-and-fire neuron .............. 25 4.2 Experimental procedures ................................ 28 5 Results for homogeneous networks 31 5.1 Experimental Results .................................. 31 5.1.1 Dependence of the ISI on the coupling strength ε ............... 31 5.1.2 Dependence of the ISI on the ensemble size N ................ 34 5.2 Characterization of the Phase Transition ........................ 36 5.3 Hysteresis effect ..................................... 36 5.4 Theoretical Description ................................. 38 5.4.1 Bounds for τ and τ .............................. 41 5.4.2 Thermodynamic Limit ............................. 43 5.4.3 Application of the Thermodynamic Limit ................... 44 5.4.4 Hysteresis .................................... 45 6 Results for heterogeneous networks 47 6.1 Generalization of the model ............................... 47 6.2 Results for heterogeneous networks .......................... 49 7 Sequential versus Parallel Dynamics 51 7.1 Sequential model .................................... 51 7.2 Results with sequential updating ............................ 52 8 Discussion of the results for neural networks 55 III Human communication behavior 61 9 Introduction into human communication dynamics 63 9.1 Motivation .......................................