FACULDADE DE ENGENHARIA DA UNIVERSIDADE DO PORTO Navigating Virtual Reality Worlds with Leap Motion Controller Rui Miguel de Paiva Batista Mestrado Integrado em Engenharia Informática e Computação Supervisor: Prof. Rui Pedro Amaral Rodrigues Co-Supervisor: Prof. Jorge Carlos Santos Cardoso January 25, 2016 Navigating Virtual Reality Worlds with Leap Motion Controller Rui Miguel de Paiva Batista Mestrado Integrado em Engenharia Informática e Computação Approved in oral examination by the committee: Chair: Nuno Honório Rodrigues Flores (Professor) External Examiner: Pedro Miguel do Vale Moreira (Professor) Supervisor: Rui Pedro Amaral Rodrigues (Professor) January 25, 2016 Resumo As visitas comerciais a imóveis têm como objetivo dar mais detalhes a um potencial comprador sobre a habitação. Este processo não é eficiente. O comprador tem que se deslocar fisicamente ao local da habitação, o que custa tanto dinheiro como tempo. De forma a tentar mitigar estes fatores começam a aparecer no mercado imobiliário as visitas virtuais. Estas visitas colmatam as falhas mencionadas, pois o comprador apenas tem que se deslocar a um ponto de acesso como o seu computador pessoal. No entanto, estas visitas virtuais também têm as suas desvantagens. Embora os imóveis virtuais possam ser criados com um grande detalhe, nas visitas virtuais os potenciais compradores não têm um sentimento de presença. Normalmente o comprador apenas pode ver fotos/vídeos de algumas divisões ou ter uma vista superficial semelhante a uma planta. A realidade virtual pode trazer ao mercado imobiliário o sentimento de presença. Com a utilização de periféricos como o "Oculus Rift", o utilizador consegue ser colocado no ambiente virtual numa perspetiva de primeira pessoa. No entanto isto também traz alguns problemas a nível da navegação. Esta dissertação tem como objetivo encontrar e avaliar formas de navegação sustentáveis para mundos virtuais a 3 dimensões usando vários dispositivos (como “Leap Motion”) e compará-las com alguns métodos de navegação existentes, tais como o comando. No âmbito deste trabalho serão usados os dispositivos “Leap Motion, o “Oculus Rift”, e um motor gráfico (e.g. Unity 3D ou Unreal Engine). O “Leap Motion” é um dispositivo recente para a interação com mundos virtuais. Este con- segue detetar a orientação, posição e curvatura das mãos de um utilizador. Em conjunto com o “Oculus Rift”, um dispositivo que permite através de visão estereoscópica oferecer ao utilizador uma perspectiva de primeira pessoa numa cena tridimensional, permite a interação entre o uti- lizador e um mundo virtual. Como o âmbito principal será o estudo de formas de navegação em mundos tridimensionais, serão tidos em conta alguns dos problemas típicos nos ambientes imer- sivos, como por exemplo o cansaço sentido durante a navegação. Será usado um motor gráfico de forma a criar a cena tridimensional. O principal caso de utilização será o de uma pessoa que ne- cessita de observar um imóvel e não tem disponibilidade de o visitar fisicamente. Com o “Oculus Rift” será possível colocar o utilizador numa perspetiva de primeira pessoa a visitar virtualmente o imóvel que será criado através dos motores gráficos supracitados. Será no entanto necessário que o utilizador se desloque pelo imóvel, usando para este efeito o “Leap Motion” e outros dispositivos. O caso de utilização principal tem alguns requisitos inerentes, tais como o facto de os utilizadores finais não possuírem experiência com algumas das tecnologias envolvidas, pelo O caso de uti- lização principal tem alguns requisitos inerentes, tais como o facto de os utilizadores finais não possuírem experiência com algumas das tecnologias envolvidas, pelo que a curva de aprendiza- gem para a adaptação terá de ser baixa. Alguns aspetos normalmente associados às primeiras utilizacões do “Oculus Rift” serão tidos em conta como, por exemplo, o enjoo ou, no caso do “Leap Motion”, o cansaço após algum tempo de utilização. Como o objetivo desta dissertação é uma avaliação de algo subjetivo, serão efetuados testes de utilização. Estes testes terão associados alguns questionários já existentes como o "Simulation Sickness Questionnaire" que servem como i ferramentas de comparação entre simuladores de realidade virtual. Palavras chave: HCI design and evaluation methods; Interaction paradigms; Interaction devices; Interaction techniques; Interaction design; Accessibility; ii Abstract Real state tours is a process where a potential buyer visits a house to know more details about it. This is an inefficient process at several levels. The user needs to travel physically to the house which brings monetary costs and it is a time consuming activity. To mitigate these factors the market is starting to have virtual real state tours. These have several benefits and the main advantage is the user only having to dislocate to a access point like a personal computer. Virtual tours also have its disadvantages. The houses built in virtual environments, although detailed, can not give the potential buyer the feeling of presence. Normally the buyer can only look at pictures of rooms or see the virtual house in a broad perspective like a blueprint. Virtual reality can bring to the real state market the feeling of presence. Using devices like the Oculus Rift, users can be placed in a virtual reality property with a first person perspective. This brings some new challenges like navigation. The dissertation Navigating Virtual Reality Worlds with the Leap Motion Controller main goal is to find and evaluate several navigation methods to control a virtual character inside a virtual simulator. Recent devices as the Leap Motion will be compared with more traditional devices, like the gamepad. To accomplish the goals set in this dissertation, tools like a game engine (Unity3D or Unreal Engine) will be utilized. Leap Motion is a recent device to interact with virtual worlds. It can detect in real time the position direction and arch from user’s hands. When combined with Oculus Rift, a device that through stereoscopic vision offers the user a first person perspective which allows the user to interact with the virtual world with a greater level of immersion. With the main goal set, some frequent problems with immersive simulators will be considered (for example, the user’s fatigue). To help create the virtual world a game engine will be utilized. A survey of the main game engines will be made and one of them will be chosen to create the final application. The main use case scenario will be a real estate virtual tour. A user that can not travel to an apartment can, through the application, make a virtual tour to it anywhere in the world. With the first perspective feature given by the Oculus Rift, the user can have a immerse tour and have a realistic view of the apartment. However, it will be necessary to navigate through the property. Using a device like the Leap Motion, the user can interact with the world without losing the immersion factor. The main use case scenario has some requirements that must be taken into account. Has the target audience is every one over eighteen years old, the learning curve of the techniques must be low and the devices must be simple to handle. Also, effects related with the use of the Oculus Rift will be taken into consideration and evaluated, like motion sickness and fatigue. To evaluate the several techniques some tests will be made to the users, like the Simulation Sickness Questionnaire(SSQ). These act like comparison tools to test virtual reality simulators. Key Words: HCI design and evaluation methods; Interaction paradigms; Interaction devices; In- teraction techniques; Interaction design; Accessibility; iii iv Acknowledgments I would like to thank all the people that helped me during this dissertation. For the guidance given and all the helpful discussions during the semester, Professor Jorge C. S. Cardoso was of the most valuable help. All his patience, insight and knowledge were essential in the development of this project. All the members from School of Arts, that gave me the possibility to work in a great environment. A special thanks to Tiago, for the help he gave me locating all possible physical resources for the development and testing on the School of Arts. I also would like to thank my supervisor Professor Rui Pedro Amaral Rodrigues for helping me with the document, for all availability and for providing all the resources for the experiment in FEUP. Another special thanks to Eng. António Sérgio Ferreira, for his "strong words" on this last part of the semester. Thanks also to my girlfriend for all her patience that she had in times of stress, always helping me see the brighter future. I would like to thank also all the test subjects that volunteered for my experiment. Rui Miguel de Paiva Batista v vi “A bruise is a lesson... and each lesson makes us better.” George R.R. Martin vii viii Contents 1 Introduction1 1.1 Context . .1 1.2 Problem Definition . .2 1.3 Tasks and Objectives . .2 1.4 Dissertation Structure . .3 2 Literature Review5 2.1 Navigation Techniques and Virtual World Interactions . .5 2.1.1 Metaphors . .5 2.2 Physical Devices . .8 2.2.1 Head-Mounted Displays . .8 2.2.2 Input Devices . 10 2.3 Evaluation and Metrics . 11 2.4 Summary . 12 3 Proposed Methodology and Architecture 13 3.1 Methodology . 13 3.1.1 Applications Review . 14 3.1.2 Techniques Review . 15 3.1.3 Game Engine Review . 17 3.2 Architecture . 17 4 Iterative design and implementation of navigation metaphors 21 4.1 Techniques Iterations . 21 4.1.1 Gamepad . 21 4.1.2 Airplane . 22 4.1.3 Point to Point . 23 4.2 Final Iterations and Implementation . 24 4.2.1 Airplane . 24 4.2.2 Gamepad . 25 4.2.3 Point to Point . 26 4.3 Summary . 27 5 Experimental Procedure 29 5.1 Experiment Outline .