Imagem João Pedro Silva Neves Application of Mixed Reality Devices for Robot Manipulator Programming: Aspects Related to Graphical Animations Dissertação de Mestrado em Engenharia Mecânica na Especialidade de Produção e Projeto July/2018 DEPARTAMENTO DE ENGENHARIA MECÂNICA Application of Mixed Reality Devices for Robot Manipulator Programming: Aspects related to Graphical Animations Submitted in Partial Fulfilment of the Requirements for the Degree of Master in Mechanical Engineering in the speciality of Production and Project. Utilização de Dispositivos de Realidade Mista para Programação de Robôs Manipuladores: Aspetos relacionados com Animação Gráfica. Author João Pedro Silva Neves Advisor[s] Professor Doutor Joaquim Norberto Cardoso Pires da Silva Engenheiro Doutor Theo Doll Jury Professor Doutor Altino de Jesus Roque Loureiro President Professor Associado c/ Agregação da Universidade de Coimbra Professor Doutor António Fernando Macedo Ribeiro Professor Associado c/ Agregação da Universidade do Minho Vowel[s] Professor Doutor Carlos Xavier Pais Viegas Professor Auxiliar da Universidade de Coimbra Professor Doutor Joaquim Norberto Cardoso Pires da Silva Advisor Professor Associado c/ Agregação da Universidade de Coimbra Engenheiro Doutor Theo Doll CEO na empresa Söhner Kunststofftechnik Gmbh Application of Mixed Reality Devices for Robot Manipulator Programming. Aspects Related to Graphical Animations Institutional Collaboration Söhner Kunststofftechnik Koris Robotics Gmbh Gmbh Coimbra, July, 2018 ii ACKNOWLEDGEMENTS ACKNOWLEDGEMENTS This dissertation is the climax of all the hard work fulfilled during this five years as a student of Mechanical Engineering at the University of Coimbra. I cannot start without acknowledging all the people that supported and guided me throughout these years, whom I am truly grateful to. To Prof. Dr J. Norberto Pires, advisor, for all the advice and guidance given throughout this Master Thesis, and for providing us all the tools and means to develop this project. To Dr Theo Doll, advisor, for the internship provided that gave us the opportunity to start this project, and for the Microsoft Hololens lent for development. To Diogo Serrario, my friend and partner in this project, for his collaboration and relentless work given to this project. The outcome of this project was only possible with our teamwork. To my friends and colleagues in the Robotics Lab, for their friendship and all the advices given that were essential to assure the outcome of this Dissertation. To all my friends that have been by my side in this 5 years of study, with whom I have unforgettable memories, and whose friendship I could always count. To my parents and my brother, for all the unconditional support given, for being the greatest role models in my life and for always believing in me To my girlfriend, that has been by my side during the development of this Master Thesis, and whom I must thank for all the support and courage given. João Pedro Silva Neves i Application of Mixed Reality Devices for Robot Manipulator Programming. Aspects Related to Graphical Animations ii 2018 ABSTRACT Abstract The main goal of this Master Thesis’ dissertation consists in describing a new project developed with the purpose to create a completely new interface, which provides a generic implementation of Mixed Reality to monitor, optimize and program robot manipulators’ tasks. This interface will hopefully expand the range of people with capabilities to program industrial robots, since the advanced knowledge of programming languages will be an optional requirement. The motivation for this project begins with the will to improve Human-Machine Interfaces (HMI) and to demonstrate that an approach with Mixed Reality can lead to huge improvements in monitoring and programming advanced robotic tasks, such as Additive-manufacturing, collaborative robots, amongst others. Perceiving information as direct visual content, in real time, anticipate trajectories, or even apply modifications to a robot motion with gesture or sound inputs, are some of the great advantages of this technology. The project developed in this master thesis resulted in two apps for a Microsoft HoloLens each with different purposes. The first (Path Visualization) is a Mixed Reality interface that allows users to control a robotic manipulator, visualize its movement and fully monitor the task assigned to the robot. The second app (Graphical Path Manipulation) is a new Mixed Reality environment that allows users to create a completely new path or adjust one, as well as enabling the possibility to change motion parameters and teach the new/adjusted path trajectory to the robot. This Master Thesis will focus on all the development, made by the writer, to create the Mixed Reality applications for the Microsoft HoloLens. This was possible using the Unity3D, Vuforia and Visual Studio software interfaces. Although this project’s purpose is not to focus on a specific industrial task, it can be easily adapted posteriorly to any kind of robotic task desired. The concept however is open for further studies. João Pedro Silva Neves iii Application of Mixed Reality Devices for Robot Manipulator Programming. Aspects Related to Graphical Animations Keywords Mixed Reality (MR), Augmented Reality (AR), Robotic Manipulators, Microsoft HoloLens, Human-Machine Interfaces (HMI), Task Optimization, Advanced Programming. iv 2018 Resumo Resumo O objetivo desta dissertação consiste na descrição do projeto desenvolvido com o propósito de criar uma interface completamente nova, que implementa tecnologias de Realidade Mista para a programação e monitorização de robôs manipuladores. Esta interface tem como intuito principal expandir o número de pessoas com capacidades para programar e monitorizar robôs manipuladores, ao tornar o conhecimento avançado de linguagens de programação um requerimento opcional e não fundamental. A motivação para este projeto começa pela vontade de proporcionar avanços em interfaces de comunicação Homem- Máquina (IHM), e na demonstração das vantagens proporcionadas pelas tecnologias de Realidade Mista na monitorização e programação de processos robóticos avançados (Produção aditiva, robôs colaborativos, entre outros). Ter acesso direto a informação como conteúdo visual aplicado no espaço e em tempo real, antecipar trajetórias, ou até modificar o movimento de um robô através de som ou gestos manuais, são algumas das grandes vantagens proporcionadas por esta tecnologia. O projeto desenvolvido durante a realização desta tese de mestrado resultou na criação de duas aplicações para um Microsoft HoloLens, ambas com propósitos diferentes. A primeira aplicação (Path Visualization) consiste numa interface de realidade mista que permite aos utilizadores o total controlo sobre um robô manipulador e ao mesmo tempo uma completa monitorização das trajetórias realizadas pelo mesmo. A segunda aplicação (Graphical Path Manipulation) consiste num novo ambiente de realidade mista que permite que os utilizadores criem uma trajetória nova para o robô, facilmente ajustável sempre que necessário, e também proporciona a possibilidade de alterar os parâmetros inerentes ao movimento do robô. Todas as trajetórias são depois enviadas pela aplicação para o robô real que as executa como definido. Esta dissertação apenas terá foco no desenvolvimento realizado pelo escritor, que consiste nas aplicações de realidade mista para o Microsoft HoloLens. As aplicações foram realizadas utilizando os softwares Unity3D, Vuforia e Visual Studio. Apesar do projeto não ser direcionado para uma tarefa especifica, pode ser facilmente adaptado para uma, estando o conceito disponível para avanços futuros. João Pedro Silva Neves v Application of Mixed Reality Devices for Robot Manipulator Programming. Aspects Related to Graphical Animations Palavras-chave: Realidade Mista, Realidade Aumentada, Robôs Manipuladores, Microsoft Hololens, Interfaces Homem-Máquina, Otimização de Tarefas, Programação Avançada. vi 2018 Contents Contents LIST OF FIGURES .............................................................................................................. ix LIST OF TABLES ............................................................................................................. xiii ACRONYMS .................................................................................................................. xv 1. INTRODUCTION ......................................................................................................... 1 1.1. Motivation ............................................................................................................... 1 1.2. MR, AR and VR economic analysis ....................................................................... 2 2. STATE OF ART ............................................................................................................ 7 2.1. Augmented Reality (AR) ........................................................................................ 7 2.1.1. Monitor-based AR displays ............................................................................. 8 2.1.2. See-through AR displays ................................................................................. 9 2.2. Virtual Reality ....................................................................................................... 10 2.3. Mixed Reality ....................................................................................................... 11 2.3.1. Microsoft HoloLens ......................................................................................