Industrial Energy Management in the Cloud Hugo André Gomes Sequeira Thesis to obtain the Master of Science Degree in Information Systems and Computer Engineering Supervisor: Prof. Dr. Paulo Jorge Fernandes Carreira Examination Committee Chairperson: Prof. Dr. Ernesto José Marques Morgado Supervisor: Prof. Dr. Paulo Jorge Fernandes Carreira Member of the Committee: Prof. Dr. Mário Serafim dos Santos Nunes November 2014 ii Acknowledgments Gostaria de comec¸ar por agradecer ao meu orientador, professor Dr. Paulo Carreira, pelo excelente trabalho de orientac¸ao,˜ que inspirou tudo e todos durante a elaborac¸ao˜ desta tese e de todas as outras que supervisionou ao longo deste ano. Obrigado por todo o suporte, todas as criticas, todos os elogios e por acreditar no nosso potencial. Gostaria tambem´ de agradecer ao meu supervisor, Dr. Thomas Goldschmidt, pela sabedoria, su- pervisao,˜ e pelo acompanhamento que prestou durante a minha estadia na ABB. Estarei para sempre grato por ter acreditado em mim e aceite nesta grande empresa. Caso contrario´ teria perdido muita coisa a n´ıvel pessoal e academico.´ A` minha fam´ılia, em especial aos meus pais e avos,´ por todo o carinho que sempre me deram e por todo o apoio na perseguic¸ao˜ dos meus sonhos. Ao Joao˜ Loff, Alexandre Almeida, Viteche Ashvin, Hugo Ramos, Sergio´ Isidoro, Tiago Aguiar, Edgar Santos, Nuno Teles e a todos os outros amigos e colegas que foram companheiros de corac¸ao˜ durante a minha vida escolar. Sem eles, nunca teria chegado aqui e por isso estarei eternamente grato. A todos os amigos que fiz na Holanda e na Alemanha, durante o meu percurso no estrangeiro. Em especial, ao meu amigo alemao˜ Philipp Piroth, pelo o apoio e carinho desde o primeiro dia e que se tornaram indispensaveis´ para conseguir viver na Alemanha com muita felicidade e realizar o meu tra- balho com muito sucesso. A todos aqueles que perdi, mas que sempre estiveram do meu lado e prontos para me apoiar nos maus ou nos bons momentos. Nunca me esquecerei de vos.´ A todos os colegas de trabalho que tive o prazer de conhecer na ABB e que tanto me ajudaram para conseguir realizar os meus objectivos. A todos vos´ e a todos os outros que fizeram parte da minha vida, Um MUITO OBRIGADO e a vos´ vos dedico esta tese. Hugo Sequeira iii iv Resumo Organizac¸oes˜ industriais usam sistemas de gestao˜ energetica´ (EMS) para monitorizar, controlar e op- timizar o seu consumo energetico.´ Sistemas industriais como estes sao˜ complexos e dispendiosos, devido aos seus requisitos avanc¸ados de desempenho, confiabilidade e interoperabilidade. A industria sente tambem´ algumas dificuldades na operac¸ao˜ dos actuais sistemas EMS quando pretende ter uma monitorizac¸ao˜ centralizada do consumo energetico´ e emissao˜ de CO2 nos varios´ locais de produc¸ao,˜ na integrac¸ao˜ de dados energeticos´ e de automac¸ao,˜ e quanto pretende efectuar uma analise´ comparativa da eficienciaˆ energetica´ entre as diferentes produc¸oes.˜ Para alem´ disso, a industria sente tambem´ prob- lemas de big data devido a` evoluc¸ao˜ tecnologica´ dos equipamentos de medic¸ao.˜ Estes produzem cada vez mais medic¸oes˜ com mais detalhe e com mais frequencia,ˆ resultando na gerac¸ao˜ de grandes quanti- dades de dados, que dificulta a gestao˜ de toda esta informac¸ao˜ em tempo real. Esta tese propoe˜ entao˜ uma soluc¸ao˜ EMS na cloud para resolver estas dificuldades e derivar novas e mais informac¸oes˜ em tempo real. De facto, o impacto desta tese e´ deveras extenso, com possibilidades inovadores para as organizac¸oes˜ industriais detectarem padroes˜ de ineficienciaˆ no seu consumo energetico´ e conseguirem reagir a mudanc¸as de ambiente com mais rapidez. A relevanciaˆ da soluc¸ao˜ proposta nesta tese foi con- firmada atraves´ de uma avaliac¸ao˜ a` forma como resolveu casos de uso que estao˜ em falta nestes sistemas industriais. A sua viabilidade de implementac¸ao˜ e o seu desempenho foram tambem´ avalia- dos, atraves´ da implementac¸ao˜ de um prototipo´ e da avaliac¸ao˜ do seu comportamento em diferentes testes de stress. Palavras-chave: Eficienciaˆ Energetica,´ Gestao˜ Industrial Energetica,´ Sistemas Industriais de Gestao˜ Energetica,´ Demand Response (DR), Computac¸ao˜ em Nuvem, Computac¸ao˜ em Tempo Real v vi Abstract Industrial organizations use Energy Management Systems (EMS) to monitor, control, and optimize their energy consumption. Industrial EMS are complex and expensive systems due to the unique require- ments of performance, reliability, and interoperability. Moreover, industry is facing challenges with cur- rent EMS implementations such as cross-site monitoring of energy consumption and CO2 emissions, integration between energy and production data, and meaningful energy efficiency benchmarking. Ad- ditionally, big data has emerged because of recent advances in field instrumentation that led to the generation of large quantities of machine data, with much more detail and higher sampling rates. This created a challenge for real-time analytics. To address these needs and challenges, this thesis proposes a cloud-native industrial EMS solution with cloud computing capabilities to enable the extraction of ac- tionable knowledge from large amounts of real-time data. Indeed, the impact of this work is far reaching as it enables organizations to detect hidden patterns of inefficient energy use and to react to changes of events in real-time. The feasibility of our proposal was verified with the implementation of a proof of concept and its usability and performance validated by respectively evaluating its approaches to solve important use cases that the industry is lacking of and how it handles different amounts of workloads. Keywords: Energy Efficiency (EE), Industrial Energy Management, Energy Management Sys- tems (EMS), Demand Response (DR), Cloud Computing, Real-time Computing vii viii Contents Acknowledgments........................................... iii Resumo.................................................v Abstract................................................. vii List of Tables.............................................. xiii List of Figures............................................. xvi List of Acronyms............................................ xvii 1 Introduction 1 1.1 Motivation.............................................2 1.2 Problem statement and objectives...............................3 1.3 Research methodology and contributions...........................3 1.4 Document organization.....................................5 2 Research Background 7 2.1 Energy Demand Management.................................7 2.1.1 Smart Grids........................................7 2.1.2 Liberalised Electricity Markets..............................7 2.1.3 Demand-Side Management...............................9 2.1.4 Energy Efficiency..................................... 10 2.1.5 Energy Management................................... 11 2.1.6 Energy Management Systems............................. 11 2.1.7 Industrial Energy Management Systems........................ 12 2.2 Demand Response........................................ 18 2.2.1 Demand Response Programs.............................. 19 2.2.2 Demand Response Standards............................. 20 2.2.3 Survey on Energy Management Systems....................... 21 2.3 Industrial Automation Systems................................. 24 2.3.1 Industrial Manufacturing................................. 25 2.3.2 Industrial Control Systems............................... 25 2.3.3 Industrial Networks.................................... 27 2.3.4 Cyber-Physical Systems................................. 27 ix 2.3.5 Internet of Things.................................... 28 2.3.6 Industry 4.0........................................ 28 2.4 Cloud Computing......................................... 30 2.4.1 Cloud Computing Concepts............................... 30 2.4.2 Cloud Computing Service Models........................... 31 2.4.3 Cloud Computing Deployment Methods........................ 32 2.4.4 Benefits of Cloud Computing.............................. 33 2.4.5 Risks and Concerns of Cloud Computing....................... 34 2.4.6 Service-Level Agreements............................... 35 2.4.7 Big Data and Real-Time Analytics........................... 35 3 Solution 39 3.1 Scope Analysis.......................................... 39 3.2 Requirement Analysis...................................... 40 3.2.1 Big Data Requirements................................. 40 3.2.2 Real-Time Requirements................................ 40 3.2.3 Functionalities...................................... 40 3.2.4 Quality Attributes..................................... 41 3.2.5 Use Case Diagrams................................... 42 3.3 Conceptualization........................................ 45 3.3.1 Energy Monitoring (Real-time computing)....................... 45 3.3.2 Energy Analytics (Batch processing).......................... 45 3.4 Energy Cloud........................................... 46 3.4.1 Dashboards........................................ 47 3.4.2 Analytics API....................................... 47 3.4.3 Message-oriented Middleware (MOM)......................... 49 3.5 Energy Monitoring........................................ 49 3.5.1 Storm Topologies..................................... 50 3.5.2 Storm Architecture.................................... 50 3.5.3 Storm Clusters...................................... 51 3.5.4 Energy Storm....................................... 52 3.5.5 Real-Time Messaging Servers............................