Universidade de Aveiro Departamento de Eletrónica, 2015 Telecomunicações e Informática André Frederico Gestão e engenharia de CAP na Nuvem Híbrida Guilhoto Monteiro HPC Management and Engineering in the Hybrid Cloud Universidade de Aveiro Departamento de Eletrónica, 2015 Telecomunicações e Informática André Frederico Gestão e engenharia de CAP na Nuvem Híbrida Guilhoto Monteiro HPC Management and Engineering in the Hybrid Cloud Tese apresentada às Universidades do Minho, Aveiro e Porto para cumprimento dos requisitos necessários à obtenção do grau de Doutor em Informática no âmbito do doutoramento conjunto MAP-i, realizada sob a orientação científica do Doutor Cláudio Jorge Vieira Teixeira, equiparado a Investigador Auxiliar, e do Doutor Joaquim Manuel Henriques de Sousa Pinto, Professor Auxiliar ambos do Departamento de Eletrónica, Telecomunicações e Informática da Universidade de Aveiro. Ao meu pai, o verdadeiro “engenheiro” que me inspirou na procura das coisas inovadoras, à minha mãe pela seu acompanhamento e exigência na educação e à mulher da minha vida pelo encorajamento, trabalho suplementar e paciência extra. o júri / the jury presidente / president Prof. Doutor Domingos Moreira Cardoso Professor Catedrático da Universidade de Aveiro vogais / examiners committee Prof. Doutor Fernando Manuel Augusto Silva Professor Catedrático da Faculdade de Ciências da Universidade do Porto Prof. Doutor Alfredo Moreira Caseiro Rocha Professor Associado com Agregação da Universidade de Aveiro Prof. Doutor Ignacio Blanquer Professor Associado da Universidade Politécnica de Valência Prof. Doutor José Miguel Oliveira Monteiro Sales Dias Professor Associado Convidado do Instituto Universitário de Lisboa Prof. Doutor Filipe João Boavida Mendonça Machado Araújo Professor Auxiliar da Faculdade de Ciências e Tecnologia da Universidade de Coimbra Prof. Doutor Nuno Manuel Ribeiro Preguiça Professor Auxiliar da Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa Prof. Doutor Cláudio Jorge Vieira Teixeira Equiparado a Investigador Auxiliar da Universidade de Aveiro agradecimentos Apenas umas linhas de texto não fazem jus ao sentimento de gratidão que tenho para com as pessoas que me ajudaram, nem conseguem albergar todas as que de alguma forma me conseguiram incentivar, agradeço a todas e em especial a algumas. Ao Professor Joaquim Sousa Pinto, começando pelo convite para o Doutoramento, baseado na fé que teve em mim e nas minhas capacidades. Agradeço a confiança que sempre mostrou em mim e no meu trabalho e pela calma que sempre me transmitiu. Um exemplo, um incentivo persistente e a capacidade de ler nas entrelinhas e colocar os pontos nos “i”s onde faltavam, os pequenos detalhes que fazem um trabalho distinto. Ao Professor Cláudio Teixeira, em primeiro lugar pelo desassossego de me tirar da minha zona de conforto e me lançar em novas tecnologias. O facto é que a investigação e a descoberta neste campo me fizeram abraçar com um gosto inimaginável à Cloud. Depois pela persistência e acompanhamento, a distância dos locais de trabalho foram-se encurtando com uma reunião, um correio eletrónico ou um telefonema. As correções e os comentários incisivos e frontais, que me obrigaram a moldar e aperfeiçoar o trabalho e a escrita. Desde Lodo tive a companhia deste Patrão, mais não podia desejar. Agradeço à Universidade de Aveiro, e especialmente ao IEETA e ao DETI, mas também aos STIC a oportunidade e os recursos disponibilizados para a minha formação, humanos e materiais. Aos Professores cujas disciplinas pude dar aulas, pela oportunidade e aprendizagem, foi uma experiência fantástica. Aos meus amigos, pela presença na minha vida e da minha família, que possamos continuar unidos e lembrarmo-nos sempre uns dos outros. Em especial ao meu irmão, que de longe se mantém bem perto. À minha mãe, pelo apoio e incentivo ao longo destes anos mas sobretudo durante todo o percurso escolar, exigindo sempre o melhor de mim. Ao meu pai, que mesmo não estando cá me proporcionou o melhor de uma vida e ao mesmo tempo me despertou o interesse pela tecnologia e engenhocas. Ao Gustavo e ao Gaspar, que ainda não sabendo são uma fonte de motivação e alegria no final do dia-a-dia! À Lena, mulher da minha vida e mãe dos meus filhos, não podia ter melhor amiga nem companheira! Obrigado pela infinita paciência e apoio intangível! palavras-chave Computação em Nuvem, Computação de Alta Performance, Nuvem híbrida, migração, CAP na Nuvem resumo O desenvolvimento e maturação da Computação em Nuvem abriu a janela de oportunidade para o surgimento de novas aplicações na Nuvem. A Computação de Alta Performance, uma classe dedicada à resolução de problemas complexos, surge como um novo consumidor no Mercado ao aproveitar as vantagens inerentes à Nuvem e deixando o dispendioso centro de computação tradicional e o difícil desenvolvimento em grelha. Situando-se num avançado estado de maturação, a Nuvem de hoje deixou para trás muitas das suas limitações, tornando-se cada vez mais eficiente e disseminada. Melhoramentos de performance, baixa de preços devido à massificação e serviços personalizados a pedido despoletaram uma atenção inusitada de outros mercados. A CAP, independentemente de ser uma área extremamente bem estabelecida, tradicionalmente tem uma fronteira estreita em relação à sua implementação. É executada em centros de computação dedicados ou computação em grelha de larga escala. O maior problema com o tipo de instalação habitual é o custo inicial e o não aproveitamento dos recursos a tempo inteiro, fator que nem todos os laboratórios de investigação conseguem suportar. O objetivo principal deste trabalho foi investigar novas soluções técnicas para permitir o lançamento de aplicações CAP na Nuvem, com particular ênfase nos recursos privados existentes, a parte peculiar e final da cadeia onde se pode reduzir custos. O trabalho inclui várias experiências e análises para identificar obstáculos e limitações tecnológicas. A viabilidade e praticabilidade do objetivo foi testada com inovação em modelos, arquitetura e migração de várias aplicações. A aplicação final integra uma agregação de recursos de Nuvens, públicas e privadas, assim como escalonamento, lançamento e gestão de aplicações CAP. É usada uma estratégia de perfil de utilizador baseada em autenticação federada, assim como procedimentos transparentes para a utilização diária com um equilibrado custo e performance. keywords Cloud Computing, High-Performance Computing, hybrid Cloud, migration, HPC in the Cloud abstract The evolution and maturation of Cloud Computing created an opportunity for the emergence of new Cloud applications. High-performance Computing, a complex problem solving class, arises as a new business consumer by taking advantage of the Cloud premises and leaving the expensive datacenter management and difficult grid development. Standing on an advanced maturing phase, today’s Cloud discarded many of its drawbacks, becoming more and more efficient and widespread. Performance enhancements, prices drops due to massification and customizable services on demand triggered an emphasized attention from other markets. HPC, regardless of being a very well established field, traditionally has a narrow frontier concerning its deployment and runs on dedicated datacenters or large grid computing. The problem with common placement is mainly the initial cost and the inability to fully use resources which not all research labs can afford. The main objective of this work was to investigate new technical solutions to allow the deployment of HPC applications on the Cloud, with particular emphasis on the private on-premise resources – the lower end of the chain which reduces costs. The work includes many experiments and analysis to identify obstacles and technology limitations. The feasibility of the objective was tested with new modeling, architecture and several applications migration. The final application integrates a simplified incorporation of both public and private Cloud resources, as well as HPC applications scheduling, deployment and management. It uses a well-defined user role strategy, based on federated authentication and a seamless procedure to daily usage with balanced low cost and performance. Table of Contents Table of Contents ............................................................................................................................................. i List of Acronyms ............................................................................................................................................ iii List of Figures ................................................................................................................................................. iv List of Tables ................................................................................................................................................... vi 1 Introduction .............................................................................................................................................. 1 1.1 Context ............................................................................................................................................... 1 1.2 Motivation........................................................................................................................................... 3 1.3 Objectives .......................................................................................................................................... 4 1.4 Major contributions