Resource allocation in a Cloud partially powered by renewable energy sources Yunbo Li To cite this version: Yunbo Li. Resource allocation in a Cloud partially powered by renewable energy sources. Distributed, Parallel, and Cluster Computing [cs.DC]. Ecole nationale supérieure Mines-Télécom Atlantique, 2017. English. NNT : 2017IMTA0019. tel-01595953 HAL Id: tel-01595953 https://tel.archives-ouvertes.fr/tel-01595953 Submitted on 27 Sep 2017 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. Thèse de Doctorat Yunbo LI Mémoire présenté en vue de l’obtention du grade de Docteur de l’École nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire sous le sceau de l’Université Bretagne Loire École doctorale : Sciences et technologies de l’information, et mathématiques (STIM 503) Discipline : Informatique, section CNU 27 Unité de recherche : Laboratoire des Sciences du Numérique de Nantes (LS2N) & Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) Soutenue le 12 juin 2017 Thèse numéro : 2017IMTA0019 Resource allocation in a Cloud partially powered by renewable energy sources JURY Président : M. Romain ROUVOY, Professeur, Université de Lille Rapporteurs : M. Pascal BOUVRY, Professeur, Université du Luxembourg Mme Patricia STOLF, Maître de conférences (HDR), Université Toulouse Jean-Jaurès Examinateurs : M. Laurent LEFÈVRE, Chargé de recherche (HDR), Inria M. Romain ROUVOY, Professeur, Université de Lille Directeur de thèse : M. Jean-Marc MENAUD, Professeur, IMT Atlantique Co-directrice de thèse : Mme Anne-Cécile ORGERIE, Chargée de recherche, CNRS Remerciements Je voudrais tout d’abord remercier tout particulièrement mes encadrants de thèse, Dr. Anne-Cécile Orgerie (CNRS) et Pr. Jean-Marc Menaud (IMT-Atlantique), qui m’ont dirigé tout au long de ces trois années de thèse. Ils ont toujours été disponibles, à l’écoute de mes nombreuses questions, et se sont toujours intéressés à l’avancée de mes travaux. Je tiens à exprimer ma reconnaissance à Dr. Christine Morin, je suis ravi d’avoir travaillé dans son équipe Myriads. Je remercie également Pr. Jean-Louis Pazat qui m’a beaucoup apporté. Dr. Patricia Stolf et Pr. Pascal Bouvry m’ont fait l’honneur d’être rapporteurs de ma thèse, pour le temps consacré à la lecture de cette thèse, et pour les suggestions et les remar- ques intéressantes qu’ils m’ont faites. Je tiens à remercier Dr. Laurent Lefèvre et Pr. Romain Rouvoy pour avoir accepté de participer à mon jury de thèse. Ayant effectué mon stage à l’Université Rutgers, je remercie Pr. Manish Parashar et Dr. Ivan Rodero avec qui j’ai eu la chance de pouvoir travailler. Leur rigueur, leurs capacités d’analyse des problèmes et leurs connaissances ont été très utiles pour me permettre de pro- gresser ainsi quel leurs réponses à mes questions. Je remercie également tous les thésards David Guyon, Ismael Cuadrado Cordero, Anna Giannakou, Bogdan F. Cornea, Amir Teshome Wonjiga, Anca Iordache, Genc Tato et Gilles Madi-Wamba qui m’ont entouré et m’ont conseillé. Je remercie toutes les personnes dans le projet EPOC qui j’ai partagé mes travaux et no- tamment ces années de thèse : Nicolas Beldiceanu, Bárbara Dumas Feris, Philippe Gravey, Sabbir Hasan, Claude Jard, Thomas Ledoux, Didier Lime, Gilles Madi-Wamba, Pascal Morel, Michel Morvan, Marie-Laure Moulinard, Jean-Louis Pazat, Olivier H. Roux, Ammar Sharaiha. Mes derniers remerciements vont à mes parents et ma copine Zifan, je n’aurais rien fait de tout cela sans votre amour. 3 Contents Remerciements3 List of Tables 7 List of Figures 9 1 Introduction 13 1.1 Context......................................... 13 1.2 Problem Statement and Research Challenges................... 14 1.3 Contributions..................................... 15 1.3.1 Publications.................................. 16 1.3.2 Dissertation organization.......................... 16 2 State of the Art 19 2.1 Introduction...................................... 19 2.2 Data center: server, storage and network energy use............... 19 2.2.1 Data center types and components..................... 20 2.2.2 Energy consumption of computing, storage and network devices... 21 2.2.3 Green metrics................................. 24 2.3 Energy saving approaches.............................. 25 2.3.1 Energy efficiency............................... 25 2.3.2 Energy proportionality............................ 26 2.3.3 Virtualized Infrastructure for Cloud Computing............. 28 2.3.4 A little more green.............................. 34 2.3.5 Novel cloud architectures.......................... 36 2.4 Summary........................................ 38 3 EpoCloud data center 39 3.1 EpoCloud principles................................. 39 3.2 EpoCloud hardware architecture.......................... 40 3.2.1 High throughput optical networks for VM migration.......... 41 3.2.2 Disk throughput............................... 41 3.3 Real traces....................................... 43 3.3.1 Workload trace................................ 43 3.3.2 Solar energy trace............................... 45 3.4 Trace-driven simulator................................ 45 3.5 Summary........................................ 46 5 6 CONTENTS 4 Opportunistic scheduling (PIKA) for maximizing renewable energy consumption in Cloud’s data centers 49 4.1 Problem formulation................................. 50 4.1.1 Job....................................... 50 4.1.2 Workload................................... 50 4.2 PIKA overview.................................... 51 4.3 Resource management and job scheduling..................... 53 4.3.1 Overloaded PM detection.......................... 53 4.3.2 Gap....................................... 54 4.3.3 VM placement................................ 56 4.3.4 Consolidation and migration........................ 56 4.4 Over-commit resource policies........................... 57 4.4.1 Non over-commit policy........................... 57 4.4.2 Over-commit RAM policy.......................... 57 4.4.3 Over-commit CPU policy.......................... 57 4.4.4 Optimal Over-commit CPU/RAM policy................. 57 4.5 Experimental setup.................................. 58 4.5.1 Trace-driven simulator............................ 58 4.5.2 Real-world traces............................... 58 4.6 Evaluation....................................... 58 4.6.1 The performance of resource over-commitment policies......... 58 4.6.2 Energy model................................. 60 4.6.3 Simulation results.............................. 61 4.7 Conclusion....................................... 63 5 Balancing the use of batteries and opportunistic scheduling policies 65 5.1 Energy Storage Devices................................ 66 5.2 Context and assumptions.............................. 66 5.2.1 Small and medium data centers....................... 67 5.2.2 ESD model................................... 67 5.3 VM scheduling.................................... 68 5.3.1 Baseline algorithm.............................. 68 5.3.2 Opportunistic job scheduling........................ 69 5.3.3 Battery charge/discharge model...................... 69 5.4 Experimentation conditions............................. 70 5.4.1 Workload trace................................ 71 5.4.2 Solar energy trace............................... 71 5.5 Results......................................... 71 5.5.1 Find the optimal solar panel dimension.................. 71 5.5.2 Find optimal battery size in ideal case................... 72 5.5.3 Opportunistic vs. baseline when solar energy is not sufficient for the entire workload consumption........................ 73 5.5.4 Solar energy losses with variable battery size............... 74 5.5.5 Opportunistic scheduling migration vs. baseline battery loss...... 74 5.5.6 FFD scheduling impact........................... 75 5.5.7 Comparison of the approaches on a realistic scenario.......... 76 5.6 Conclusion....................................... 76 CONTENTS 7 6 Leveraging Renewable Energy in Edge Clouds for Data Stream Analysis in IoT 79 6.1 Driving Use Case................................... 80 6.2 System model and assumptions........................... 80 6.2.1 Edge and Core model............................ 80 6.2.2 Renewable energy and ESD model..................... 82 6.3 Experimentation.................................... 82 6.3.1 Setup...................................... 82 6.3.2 VM size and time analysis.......................... 83 6.3.3 Edge and core clouds’ energy consumption................ 85 6.3.4 The detection accuracy and number of cameras............. 87 6.4 Conclusion....................................... 89 7 Conclusion 91 7.1 Summary of the Dissertation............................ 91 7.2 Perspective....................................... 93 7.2.1 Thermal-aware job scheduling....................... 93 7.2.2 In-transit strategy............................... 93 7.2.3 Geographically distributed data centers.................. 94 A Appendix - Simplification of Equation 6.2 97 B Appendix - Simulator description