Analysis of Synchronizations In Greedy-Scheduled Executions - Application to Efficient Generation of Pseudorandom Numbers in Parallel Stefano Drimon Kurz Mor To cite this version: Stefano Drimon Kurz Mor. Analysis of Synchronizations In Greedy-Scheduled Executions - Appli- cation to Efficient Generation of Pseudorandom Numbers in Parallel. Computational Complexity [cs.CC]. Universidade Federal do Rio Grande do Sul (Porto Alegre, Brésil), 2015. English. NNT : 2015GREAM024. tel-01241148 HAL Id: tel-01241148 https://tel.archives-ouvertes.fr/tel-01241148 Submitted on 5 Jan 2016 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. ! THÈSE Pour obtenir le grade de DOCTEUR DE L’UNIVERSITÉ DE GRENOBLE prépareé dans le cadre d’une cotutelle entre l’Université Grenoble Alpes et l’Universidade Federal do Rio Grande do Sul Spécialité : Informatique Arrêté ministériel : le 6 janvier 2005 -7 août 2006 Présentée par Stéfano Drimon KURZ MÓR Thèse dirigée par Bruno RAFFIN codirigée par Jean-Louis ROCH et Nicolas MAILLARD préparée au Laboratoire d’Informatique de Grenoble dans le cadre de l’Ecole Doctorale Mathématiques, Sciences et Technologies de l’Information, Informatique et au Laboratoire de Parallelisme et Distribution dans le cadre du Programme de Doctorat en Informatique Analyse des synchronisations dans un programme parallèle ordonnancé par vol de travail. Applications à la génération déterministe de nombres pseudo-aléatoires. Université Joseph Fourier / Université Pierre Mendès France / Université Stendhal / Université de Savoie / Grenoble INP ! Thèse soutenue publiquement le 26 Octobre 2015, devant le jury composé de : M. Philippe O. A. NAVAUX Professeur, Universidade Federal do rio Grande do Sul, Président M. Avelino Francisco ZORZO Professeur, Pontifícia Universidade Católica RS, Rapporteur M. Emmanuel JEANNOT Directeur de Recherche, INRIA, Rapporteur M. Gérson Geraldo H. CAVALHEIRO Maître de Conférences, Universidade Federal de Pelotas, Examinateur M. Bruno RAFFIN Chargé de Recherche, Université de Grenoble, Directeur de Thèse M. Jean-Louis ROCH Maître de Conférences, Université de Grenoble, Directeur de Thèse M. Nicolas Bruno MAILLARD Maître de Conférences, Universidade Federal do Rio Grande do Sul, Directeur de Thèse Université Joseph Fourier / Université Pierre Mendès France / Université Stendhal / Université de Savoie / Grenoble INP UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL INSTITUTO DE INFORMÁTICA PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO STÉFANO DRIMON KURZ MÓR Analysis of Synchronizations in Greedy-Scheduled Executions and Applications to Efficient Generation of Pseudorandom Numbers in Parallel Thesis prepared in a co-tutelle agreement and presented in partial fulfillment of the requirements for the degree of Doctor of Computer Science Advisor: Prof. Dr. Jean-Louis ROCH Coadvisor: Prof. Dr. Nicolas MAILLARD Porto Alegre November 2015 CIP – CATALOGING-IN-PUBLICATION KURZ MÓR, Stéfano Drimon Analysis of Synchronizations in Greedy-Scheduled Execu- tions and Applications to Efficient Generation of Pseudoran- dom Numbers in Parallel / Stéfano Drimon KURZ MÓR. – Porto Alegre: PPGC da UFRGS, 2015. 184 f.: il. Thesis (Ph.D.) – Universidade Federal do Rio Grande do Sul. Programa de Pós-Graduação em Computação, Porto Alegre, BR–RS, 2015. Advisor: Jean-Louis ROCH; Coadvisor: Nicolas MAILLARD. 1. Parallel Algorithms. 2. Work-Stealing. 3. Logical Clocks. 4. Pseudorandom Numbers. 5. Nondeterministic Ex- ecutions. I. ROCH, Jean-Louis. II. MAILLARD, Nicolas. III. Título. UNIVERSIDADE FEDERAL DO RIO GRANDE DO SUL Reitor: Prof. Carlos Alexandre Netto Vice-Reitor: Prof. Rui Vicente Oppermann Pró-Reitor de Pós-Graduação: Prof. Vladimir Pinheiro do Nascimento Diretor do Instituto de Informática: Prof. Luis da Cunha Lamb Coordenador do PPGC: Prof. Luigi Carro Bibliotecária-chefe do Instituto de Informática: Beatriz Regina Bastos Haro “There exists, in Math, only one situation in which two plus two is not four. It is when the mathematician has made a mistake.” — Edgar de Souza Mór CONTENTS LIST OF FIGURES....................................................................................... 9 ABSTRACT ................................................................................................ 13 1 INTRODUCTION ...................................................................................... 3 1.1 A Brief Survey on Parallel Programming Trends.................................... 4 1.2 Part I - The Tools of Analysis: Synchronizations in Greedy Scheduled and Work-Stealing Scheduled Parallel Algorithms............................... 6 1.2.1 Motivation ..............................................................................................................6 1.2.2 Contributions..........................................................................................................7 1.3 Part II - The Product of Practice: Applications to Parallel Pseudo- random Number Generation ................................................................ 8 1.3.1 Motivation ..............................................................................................................8 1.3.2 Contributions..........................................................................................................9 1.4 Outline, Conventions, and Principles .................................................... 10 1.4.1 Outline..................................................................................................................11 1.4.2 Conventions ..........................................................................................................14 1.4.3 Principles..............................................................................................................17 1.5 Institutional........................................................................................... 18 1.6 Closing Remarks ................................................................................... 19 2 BACKGROUND....................................................................................... 21 2.1 Underlying Machines............................................................................. 22 2.1.1 Parallel Machine Architectures.............................................................................23 2.1.2 Parallel Machine Models.......................................................................................24 2.2 Foundations of Parallel Programming ................................................... 25 2.2.1 Parallel Execution Model .....................................................................................25 2.2.2 Scheduling ............................................................................................................30 2.3 The Art of Writing Parallel Programs .................................................. 35 2.3.1 Parallelization.......................................................................................................35 2.3.2 Middlewares: Libraries and Runtimes ..................................................................38 2.4 Closing Remarks ................................................................................... 40 3 STATE OF THE ART .............................................................................. 45 3.1 Analysis of Parallel Algorithms............................................................. 45 3.1.1 The Analysis of Work-Stealing Schedulers ...........................................................45 3.1.2 Potential Function Analysis..................................................................................51 3.1.3 Implementation of Work-Stealing Schedulers .......................................................54 3.1.4 Lamport’s Logical Clocks .....................................................................................58 3.1.5 Current Trends on Analysis..................................................................................60 3.2 Parallel Pseudorandom Number Generation......................................... 62 3.2.1 State-based PRNGs..............................................................................................62 3.2.2 Counter-based PRNGs .........................................................................................63 3.2.3 Deterministic Parallel Runtime ............................................................................65 3.2.4 Current Trends .....................................................................................................66 3.3 Closing Remarks ................................................................................... 68 I The Tools of Analysis: Synchronizations in Greedy Scheduled and Work-Stealing Scheduled Parallel Algorithms ..........................................................................................................69 4 SIPS.......................................................................................................... 71 4.1 Definitions ............................................................................................. 71 4.2 The Minimum Clock