FEDERAL UNIVERSITY OF RIO GRANDE DO NORTE CENTER OF EXACT AND EARTH SCIENCES DEPARTMENT OF INFORMATICS AND APPLIED MATHEMATICS POST-GRADUATION PROGRAM IN SYSTEMS AND COMPUTING MASTER’S IN SYSTEMS AND COMPUTING SmartEdge: Fog Computing Cloud Extensions to Support Latency-Sensitive IoT Applications Flávio de Sousa Ramalho Natal-RN December, 2016 Catalogação da Publicação na Fonte. UFRN / SISBI / Biblioteca Setorial Centro de Ciências Exatas e da Terra – CCET. Ramalho, Flávio de Sousa. SmartEdge: fog computing cloud extensions to support latency-sensitive IoT applications / Flávio de Sousa Ramalho. - Natal, 2016. 110f.: il. Orientador: Prof. Dr. Augusto José Venâncio Neto. Dissertação (Mestrado) – Universidade Federal do Rio Grande do Norte. Centro de Ciências Exatas e da Terra. Programa de Pós-Graduação em Sistemas e Computação. 1. Computação em névoa. 2. Computação em nuvem. 3. Internet das coisas. 4. Virtualização por containers. 5. Redes definidas por software. 6. Fog Computing. 7. Cloud Computing. 8. Internet of Things. 9. Container-based virtualization. 10. Software-defined networking. I. Venâncio Neto, Augusto José. II. Título. RN/UF/BSE-CCET CDU: 004.2 Flávio de Sousa Ramalho SmartEdge: Fog Computing Cloud Extensions to Support Latency-Sensitive IoT Applications Master’s Defense Examination submitted to the Graduate Program in Systems and Comput- ing, Department of Computer Science and Ap- plied Mathematics at Federal University of Rio Grande do Norte as a requirement for a Master’s Degree in Computer Systems. Research Area: Integrated and Distributed Systems Supervisor Prof. Dr. Augusto José Venâncio Neto PPGSC – GRADUATE PROGRAM IN COMPUTER SYSTEMS DIMAP –DEPARTMENT OF INFORMATICS AND APPLIED MATHEMATICS CCET – CENTER OF EXACT AND EARTH SCIENCES UFRN – FEDERAL UNIVERSITY OF RIO GRANDE DO NORTE Natal-RN December, 2016 Agradecimentos Este trabalho de dissertação foi orientado pelo professor Augusto Neto, o qual agradeço pe- los diversos ensinamentos, horas e horas de reunião, cobranças e enorme paciência. Agradeço também aos colegas do Laboratório de Sistemas Ubíquos e Pervasivos (UPLab), pelas incon- táveis conversas e sábios conselhos que foram essenciais para a concepção desse trabalho. Agradeço profundamente a minha família, em especial aos meus pais Francisco de Sousa Ramalho e Deolinda Maria de Sousa Ramalho. Agradeço aos meus amigos, mesmo que a ajuda não tenha sido diretamente relacionada ao conteúdo científico desse trabalho. Sempre estiveram comigo, comemorando os momentos de vitória e também dando suporte nos momentos difíceis e de tristeza. Esse trabalho é dedicado aos meus pais, que despertaram em mim a ambição que resultou na minha busca por uma pós-graduação e foi capaz de prover os meus estudos através de muito amor e trabalho árduo. Eles são os maiores responsáveis por quem sou e pela pessoa que sonho um dia me tornar. SmartEdge: Fog Computing Cloud Extensions to Support Latency-Sensitive IoT Applications Author: Flávio de Sousa Ramalho Supervisor: Prof. Dr. Augusto José Venâncio Neto ABSTRACT The rapid growth in the number of Internet-connected devices, associated to the increasing rates in popularity and demand for real-time and latency-constrained cloud application services makes the use of traditional cloud computing frameworks challenging to afford such environ- ment. More specifically, the centralized approach traditionally adopted by current Data Center (DC) pose performance issues to suit a high density of cloud applications, mainly in terms to responsiveness and scalability. Our irreplaceable dependency on cloud computing, demands DC infrastructures always available while keeping, at the same time, enough performance capabili- ties for responding to a huge amount of cloud application requests. In this work, the applicability of the fog computing emerging paradigm is exploited to enhance the performance on supporting latency-sensitive cloud applications tailored for Internet of Things (IoT). With this goal in mind, we introduce a new service model named Edge Infrastructure as a Service (EIaaS), which seeks to offer a new edge computing tailored cloud computing service delivery model to efficiently suit the requirements of the real-time latency-sensitive IoT applications. With EIaaS approach, cloud providers are allowed to dynamically deploy IoT applications/services in the edge com- puting infrastructures and manage cloud/network resources at the run time, as means to keep IoT applications always best connected and best served. The resulting approach is modeled in a modular architecture, leveraging both container and Software-Defined Networking technologies to handle edge computing (CPU, memory, etc) and network resources (path, bandwidth, etc) re- spectively. Preliminary results show how the virtualization technique affects the performance of applications at the network edge infra. The container-based virtualization takes advantage over the hypervisor-based technique for deploying applications at the edge computing infrastructure, as it offers a great deal of flexibility under the presence of resource constraints. Keywords: Fog Computing, Cloud Computing, Internet of Things, Container-based Virtualiza- tion, Software-Defined Networking. SmartEdge: Extensões de Nuvem para Computação em Névoa para Suportar Aplicações IoT Sensíveis a Latência Autor: Flávio de Sousa Ramalho Orientador: Prof. Dr. Augusto José Venâncio Neto RESUMO O rápido crescimento do número de dispositivos conectados à Internet, associado às taxas cres- centes de popularidade e demanda de aplicações e serviços em tempo real na nuvem, com restrições de latência, torna muito difícil para estruturas de computação em nuvem tradicionais acomodá-los de forma eficiente. Mais especificamente, a abordagem centralizada adotada tradi- cionalmente por Data Centers (DC) atuais apresentam problemas de desempenho para aten- der de aplicações em nuvem com alta densidade, principalmente quanto a capacidade de re- sposta e escalabilidade. Nossa dependência insubstituível por computação em nuvem, exige infra-estruturas de DCs sempre disponíveis, enquanto mantém ao mesmo tempo capacidades de desempenho suficientes para responder a uma enorme quantidade de solicitações de aplica- tivos em nuvem. Neste trabalho, a aplicabilidade do emergente paradigma de computação em névoa é explorada para melhorar o desempenho no suporte de aplicações em nuvem sensíveis à latência voltadas a Internet das Coisas (do inglês Internet of Things - IoT). Com base neste ob- jetivo, apresentamos o novo modelo denominado Infraestrutura de Borda como um Serviço (do inglês Edge Infrastructure as a Service - EIaaS), que procura oferecer um novo modelo de com- putação em nuvem com serviço de entrega baseado em computação de borda voltado a atender de forma eficiente as exigências de aplicações IoT em tempo real sensíveis à latência. Com a abordagem EIaaS, provedores de nuvem podem implantar dinamicamente aplicações/serviços IoT diretamente nas infra-estruturas de computação de borda, nem como gerir seus recursos de núvem/rede em tempo de execução, como forma de manter as aplicações IoT sempre melhor conectadas e melhor servidas. A abordagem resultante é arquitetada em uma estrutura modular, tendo como base tecnológica ferramentas de Rede Definida por Software (do inglês, Software- Defined Networking - SDN) para lidar com recursos de computação de borda (CPU, memória, etc.) e de rede (caminhos, largura de banda, etc.), respectivamente. Os resultados preliminares mostram como as principais técnicas de virtualização utilizadas no âmbito deste trabalho, afe- tam o desempenho das aplicações na infraestrutura de borda da rede. A virtualizaçào por con- tainers leva vantagem sobre a técnica de virtualização por máquinas virtuais para implantar aplicações na borda da rede, uma vez que oferece grande flexibilidade mesmo na presença de demanda de recursos. Palavras-chave: Computação em Névoa, Computação em Nuvem, Internet das Coisas, Virtual- ização por Containers, Redes Definidas por Software. List of Pictures 1 Cloud-computing service models and responsibilities. p. 27 2 Cloud-computing deployment models representation. p. 29 3 Fog-computing Architecture . p. 32 4 (a) Virtual Machine and (b) Container isolation layers. p. 36 5 Docker app scheduling steps . p. 41 6 Software-Defined Networking APIs . p. 43 7 SmartEdge Stack deployed on a OpenStack Cloud Infrastructure . p. 55 8 SmartEdge Modular Architecture . p. 58 9 SmartEdge Implementation . p. 61 10 SmartEdge usage workflow . p. 69 11 Sequence diagram of adding a node to the SmartEdge cluster . p. 71 12 Sequence diagram of deploying an application on SmartEdge . p. 72 13 Linpack results on each platform over 15 runs, with N=2000 . p. 78 14 Disk throughput results from running Bonnie++ using a file size of 3 GiB . p. 79 15 Disk rnrw from SysBench using a file size of 3 GiB . p. 80 16 Disk throughput from DD using a file size of 3 GiB and a block of 1024b . p. 81 17 Network throughput results from running netperf during 600 seconds . p. 82 18 Network request/response results from running netperf during 600 seconds . p. 83 19 SmartEdge Evaluation Testbed . p. 85 20 Impact of latency on a simple Request/Response of 1 byte . p. 90 21 Impact of latency on the application FPS by its provisioning platform. Only the application deployed using SmartEdge presented a high QoE . p. 92 22 CPU usage over the different deployment scenarios. p. 93 23 Impact of CPU allocation on the application performance. Confidence inter- val for the mean of the values, with a confidence