Energy Efficient Cloud Control and Pricing in Geographically Distributed Data Centers DISSERTATION zur Erlangung des akademischen Grades Doktor der Technischen Wissenschaften eingereicht von Dražen Lucaninˇ Matrikelnummer 0848810 an der Fakultät für Informatik der Technischen Universität Wien Betreuung: Univ. Prof. Dr. Ivona Brandic´ arXiv:1809.05853v1 [cs.DC] 16 Sep 2018 Diese Dissertation haben begutachtet: Univ. Prof. Dr. Ivona Brandic´ Univ. Prof. Dr. Helmut Hlavacs Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Wien, 21. April 2016 Dražen Lucaninˇ Energy Efficient Cloud Control and Pricing in Geographically Distributed Data Centers DISSERTATION submitted in partial fulfillment of the requirements for the degree of Doktor der Technischen Wissenschaften by Dražen Lucaninˇ Registration Number 0848810 to the Faculty of Informatics at the Vienna University of Technology Advisor: Univ. Prof. Dr. Ivona Brandic´ The dissertation has been reviewed by: Univ. Prof. Dr. Ivona Brandic´ Univ. Prof. Dr. Helmut Hlavacs Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Vienna, 21st April, 2016 Dražen Lucaninˇ Erklärung zur Verfassung der Arbeit Dražen Lucaninˇ Bürgerspitalgasse 22/15, 1060 Wien Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwendeten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit – einschließlich Tabellen, Karten und Abbildungen –, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe. Wien, 21. April 2016 Dražen Lucaninˇ i Acknowledgements The research leading to this thesis has received funding from the following projects: (1) the “Holistic Energy Efficient Approach for the Management of Hybrid Clouds” (HALEY) project, granted under the Vienna University of Technology research award; (2) several international meeting and training school grants by COST Action IC804 “Energy efficiency in large scale distributed systems”; (3) the short term scientific mission (STSM) grant by COST Action IC1305 “Network for Sustainable Ultrascale Computing” (NESUS). I would like to thank my supervisor Univ. Prof. Dr. Ivona Brandic´ for her support and mentoring during my research at the Vienna University of Technology. I would also like to thank Univ. Prof. Dr. Helmut Hlavacs for providing feedback as an external reviewer of this thesis. Additionally, I would like to thank Senior Lecturer Dr. Rizos Sakellariou for our research collaboration and for hosting my research visit at the University of Manchester. I am also grateful to my research collaborators Ilia Pietri, Simon Holmbacka and Foued Jrad for their help in our joint work. Big thanks go to my close colleagues and collaborators Soodeh Farkohi, Toni Mastelic,´ Ivan Breškovic,´ Michael Maurer and Vincent Chimaobi Emeakaroha for the discussions, talks and fun we had during our period of working together. Additionally, I would like to thank the other members of the research groups I have had the privilege of collaborating with – the Distributed Systems Group and the Electronic Commerce Group at the Vienna University of Technology and the Division of Electronics at the Ruder¯ Boškovic´ Institute in Zagreb, Croatia. Finally, I would like to thank my partner Sara, my family and my friends who were always there for me when I needed advice or encouragement. I also have to thank my favorite musicians and bands who created the many great songs that were a musical inspiration during my work. Dražen Lucaninˇ April 2016 iii Abstract The fast pace of progress in the domain of applications provided over the Internet has created a need for computational resources delivered as an on-demand utility, without having to manually manage computer hardware. Cloud computing has emerged as a very popular paradigm where resources such as virtual machines are provided as a scalable, pay-as-you-go service, catering to applications in a multitude of fields. On the other hand, the rapid cloud computing growth has turned the energy consumption of data centers hosting the cloud’s hardware infrastructure into a global environmental problem and a major cost factor. It is estimated that data centers constitute 1.5% of global electricity usage. At the same time, to serve increasing user requirements, modern cloud providers are operating multiple geographically distributed data centers. Distributed data center infrastructure changes the rules of cloud control, as energy costs depend on current regional electricity prices and temperatures that we call geotemporal inputs. Furthermore, pricing policies at which cloud providers can offer computational resources depend on the quality of service (QoS). With such pricing schemes and the increasing energy costs in data centres, balancing energy savings with performance and revenue losses is a challenging problem for cloud providers. Existing cloud control methods are suitable only for a single data center or do not consider all the available cloud control actions that can reduce energy costs in geographically distributed data centers. In this thesis, we propose a pervasive cloud control approach consisting of multiple methods for dynamic resource reallocation and hardware configuration adapted to volatile geotemporal inputs. The proposed methods consider the QoS impact of cloud control actions and the data quality limits of time series forecasting methods. We offer a cloud controller design that supports future extensions when new decision support components need to be added. We also propose novel pricing schemes which account for the computational resource availability and costs that arise from our cloud control approach to enable both flexible, energy-aware and high performance cloud computing. We evaluate our cloud control methods empirically and in a number of simulations using historical traces of electricity prices, temperatures, workloads and other data. We estimate the potential energy cost savings by comparing our methods to state-of-the-art baseline methods. We explore a variety of input parameters to provide a range of guidelines for practical application of our methods in cloud systems. Our results show that significant energy cost savings are possible without harming the QoS or service revenue in geographically distributed cloud computing. v Kurzfassung Der schnelle Fortschritt im Bereich von Internet-Anwendungen hat es erforderlich gemacht, Re- chenressourcen on-demand zur Verfügung zu stellen ohne Computer-Hardware manuell managen zu müssen. Cloud Computing hat sich als sehr beliebtes Paradigma herauskristallisiert, um Ressourcen wie virtuelle Maschinen mannigfaltigen Anwendungen skalierbar in Form eines "Pay-as-you-goSer- vices zugänglich zu machen. Andererseits hat das rapide Wachstum von Cloud Computing den Energieverbrauch von Da- tenzentren, die die Cloud-Hardware betreiben, zu einem globalen Umweltproblem und einem gewichtigen Kostenfaktor gemacht. Man schätzt, dass Datenzentren 1,5% des globalen Elektrizi- tätsverbrauchs ausmachen. Gleichzeitig betreiben moderne Cloud-Provider mehrere geographisch verteilte Datenzentren, um steigenden Nutzeranforderungen gerecht zu werden. Eine verteilte Infrastruktur von Datenzentren verändert die Cloud-Kontrollregeln, da Energiekosten von den aktuellen regionalen Elektrizitätspreisen und Temperaturen (sog. geozeitliche Einflussfaktoren) abhängen. Zusätzlich hängt die Preispolitik, über die Cloud-Provider Rechenressourcen anbieten, vom Quality-of-Service (QoS) ab. Auf Grund dieser Preisschemata und der steigenden Energiekos- ten in Datenzentren, ist das Austarieren zwischen Energieersparnissen und damit einhergehenden Verlusten an Leistung und Gewinnen ein herausforderndes Problem für Cloud-Provider. Bestehende Cloud-Kontrollmethoden existieren nur für einzelne Datenzentren oder berücksichtigen die ver- fügbaren Cloud-Kontrollaktionen nicht, die zur Reduzierung von Energiekosten in geographisch verteilten Datenzentren führen können. In dieser Dissertation schlagen wir eine durchdringende Cloud-Kontrollmethode vor, die aus mehreren Methoden für dynamische Resourcereallokation und Hardwarekonfiguration basierend auf volatilen geozeitlichen Einflussfaktoren besteht. Die vorgestellten Methoden betrachten den QoS- Einfluss von Cloud-Kontrollaktionen, sowie Limits für die Datenqualität von Vorhersagemethoden von Zeitreihen. Wir präsentieren einen Cloud-Kontrollmechanismus, der zukünftige Erweiterungen, falls neue Komponenten zur Entscheidungsfindung hinzugefügt werden müssen, ermöglicht. Außer- dem stellen wir neuartige Preisschemata vor, die die Verfügbarkeit der Rechenressourcen, sowie die Kosten, die durch unsere Cloud-Kontrollmethode entstehen, in Betracht ziehen, um flexibles, energiebewusstes und hochperformantes Cloud-Computing zu ermöglichen. Die Cloud-Kontrollmethoden werden empirisch und durch Simulationen evaluiert, die u.a. auf historischen Daten von Elektrizitätspreisen, Temperaturen und Auslastung beruhen. Die potentiellen Energiekostenersparnisse werden geschätzt, indem unsere Methoden mit Methoden, die Stand der vii Technik sind, verglichen werden. Wir untersuchen eine Vielzahl an Einflussparametern, um eine Reihe von Empfehlungen für die praktische Verwendung unserer Methoden in Cloud-Systemen abzu- geben. Die Resultate zeigen, dass signifikante Energiekostenersparnisse möglich sind, ohne das QoS oder die Gewinne von Services im geographisch verteilten Cloud-Computing