Faculdade de Engenharia da Universidade do Porto Projection Mapping aplicada à indústrial de Fabricação de estruturas para armazenamento alimentar Carlos Manuel Borges Silva VERSÃO DE TRABALHO Dissertação realizada no âmbito do Mestrado Integrado em Engenharia Electrotécnica e de Computadores Major Automação Orientador: Prof. Pedro Luís Cerqueira Gomes da Costa Co-orientador: Luís André Freitas da Rocha © Carlos Manuel Borges Silva, 2019 ii Resumo Atualmente existe uma forte evolução das tecnologias, nomeadamente em automatizar processos. Este tipo de automatização requer investimento por parte das empresas que retornará em lucro por minimizar os gastos de operacionalidade. Ao longo desta dissertação pretende-se explicar uma destas automatizações que neste caso se aplica à melhoria de processo de fabricação de estruturas para o armazenamento alimentar. O projeto incide no desenvolvimento de uma aplicação que visa ajudar a marcação de cortes de tampos para silos alimentares. Esta marcação tem por base um modelo desenhado a computador do tampo final (com todos os cortes e dimensões) contudo é necessário o desenvolvimento de um algoritmo capaz de entender e calcular eficazmente as diferenças, a deformação e a distorção entre o modelo real e virtual. Posteriormente, essas entidades (cortes e furações) são projetadas com um laser no tampo do silo para que sirvam de guias para um operador efetuar os cortes e/ou as furações. Os resultados atingidos vão ao encontro dos objetivos, que é a automatização de processos tornando-os mais eficientes e eficazes, tendo sido desenvolvido com sucesso a aquisição das nuvens de pontos, o tratamento desta informação com o modelo virtual, e o cálculo da deformação existente entre os diferentes modelos. iii iv Abstract Nowadays, there is an huge evolution of technologies, namely in processes automatization, and so that it is necessary an investment of companies that will compensate further to make profit, minimizing the wastes of operability. Throughout this dissertation it is intended to explain one of these processes whose the goal is improving the process of manufacturing of structures for food storage. The project consists on the development of an appliance that has the main objective of helping the cutting marks of a food container top. The cutting marks is based in a computer aided design model of the final food container top (with holes and cuts) although it is mandatory the development of an algorithm that is able to understand and compute effectively the differences, the deformation and the distortion between the real model and the virtual model. Then, those entities (holes and cuts) are projected with a laser on the food container top in order to be guide lines for an operator do the cuts and/or drilling for the holes. The results were well succeeded when they are compared with the goals, that is the processes automatization becoming in that way those processes more efficient and effective, so that it was developed with an high degree of success the point cloud acquisition, the data analysis of the virtual model and the compute of the deformation that exists between the different models. v vi Agradecimentos Aos meus pais e irmãos, pelo o apoio demonstrado em todas as fases da minha vida até aqui e não só esse apoio foi crucial para a conclusão e elaboração desta tese como para as decisões que tomei em toda a minha vida que me permitiram ser a pessoa que sou hoje e me deram bagagem emocional e racional para chegar a esta última etapa da educação superior. Aos meus amigos, que sempre estiveram no sitio certo à hora certa para dizer as coisas certas e mesmo que se quisesse desistir alguma vez, nunca me deixariam e que sei que sempre se orgulharão de mim pelas minhas conquistas, e esta dissertação é sem dúvida uma delas. À minha namorada que esteve comigo horas infindáveis, escutando meus problemas que surgiam sobre a tese e mesmo sem saber ajudar-me na prática, teve um impacto enorme na conclusão deste projeto porque sempre me motivou e fez com que as coisas se tornassem mais simples. Ao meu orientador, Prof. Pedro Luís Cerqueira Gomes da Costa, por em primeira instância aceitar ser meu orientador e pelo apoio e paciência que teve comigo. Agradeço-lhe a sua boa disposição, e disponibilidade que sempre revelou em ajudar-me mesmo que muitas vezes não fosse um assunto fácil. Aos meus colegas, que partilhavam o dia de trabalho comigo no laboratório do INESC no hipercentro e sempre demonstraram querer ajudar e me ajudaram a integrar no contexto do trabalho. Um especial agradecimento para o Carlos Costa, porque lhe devo todos os minutos que lhe roubei para discutir as melhores formas de abordar os problemas que foram surgindo e por todo o tempo que me aturou e me deu força para continuar, fazendo as coisas mais simples. vii viii Índice Capítulo 1 ......................................................................................... 1 Introdução .................................................................................................. 1 1.1 - Contexto/Enquadramento ..................................................................... 1 1.1.1 Motivações e Objetivos ........................................................................ 2 1.2 - Projeto ............................................................................................ 3 1.4 - Estrutura ......................................................................................... 4 Capítulo 2 ......................................................................................... 6 Revisão Bibliográfica ..................................................................................... 6 2.1 - Introdução ........................................................................................ 6 2.2 - Aquisição e tratamento de nuvens de pontos.............................................. 6 2.3 - Estudo geral das tecnologias e métodos existentes ...................................... 8 2.4 - Resumo e Conclusões ........................................................................ 19 Capítulo 3 ....................................................................................... 21 Hardware para a implementação da solução ...................................................... 21 3.1 - Setup ............................................................................................ 21 3.1.1 Características e funcionalidades do Hardware ......................................... 22 Capítulo 4 ....................................................................................... 27 Implementação .......................................................................................... 27 4.1 - Tratamento de dados da nuvem de pontos e consequente abordagem da deformação existente entre modelo real e modelo CAD .............................. 28 4.1.1 Segmentação da imagem 3D capturada ................................................... 29 4.1.2 Reconstrução da Point Cloud ............................................................... 33 4.1.3 Tratamento do modelo CAD ................................................................. 39 4.1.4 Alinhamento do modelo CAD com a imagem 3D segmada ............................. 41 4.1.5 Cálculo da deformação existente na peça para as entidades ......................... 45 4.2 - Bridge C++/CLI ................................................................................ 59 4.3 - Tratamento de informação para interface com o utilizador e com o sistema ..... 63 Capítulo 5 ....................................................................................... 67 Testes e Resultados .................................................................................... 67 Capítulo 6 ....................................................................................... 78 Conclusões e Trabalho Futuro ........................................................................ 78 5.1 - Satisfação de objetivos ...................................................................... 78 5.2 - Trabalho Futuro ............................................................................... 79 ix Lista de figuras Figura 1 - Esquema representativo do fluxo do processo por tarefas de trabalho ................. 4 Figura 2 - Nuvem de pontos exemplo que representa um objeto pelas suas coordenadas (x, y, z) e pelas suas cores (r, g, b) ...................................................................... 7 Figura 3 - Visão global do método para um camelo: (a) - Template com 30 pontos para correspondência; (b) - nuvem de pontos com os pontos marcadores; (c) - deformação inicial não ajustado com a nuvem de pontos de input o que forma resultados fora de escala; (d) – depois de ser ajustado com a nuvem de pontos; (e), (f) e (g) – primeira, segunda e quarta iterações, respetivamente; (h) – resultado final com a sobreposição da nuvem de pontos para ser percetível a deformação alcançada. Fonte: [4] ............ 10 Figura 4 - Esquerda: Dinossauro com um exemplo de extrema deformação usando o template do camelo da Figura 1(a). (a) - nuvem de pontos; (b) - deformação inicial; (c) - resultado final com pernas mais pequenas assim como cauda e ainda a inserção de orelhas. Direita: Utilização do cavalo em (d) como template para a nuvem de pontos de um camelo definida em Figura 1(b), com o resultado final em (e), Fonte: [4] ........................................................................................................ 11 Figura 5 - O dragão representado à esquerda é deformado pela otimização das posições