Universidad Carlos III de Madrid Grado de Ingeniería Informática Proyecto Fin de Carrera Visión artificial integrada con dispositivos de realidad virtual inmersiva aplicada a videojuegos Autor: Pablo Sánchez-Herrero Gómez Tutor: Yago Sáez Achaerandio Junio 2016 Contenido Índice ilustraciones ........................................................................................................................ 4 Índice de código ............................................................................................................................ 6 Resumen ........................................................................................................................................ 7 1. Introducción .............................................................................................................................. 9 2.Estado del arte ......................................................................................................................... 11 Sensores inerciales .................................................................................................................. 11 Wiimote(Wii remote) .............................................................................................................. 12 PlayStation Move y PlayStation camera.................................................................................. 14 Kinect ....................................................................................................................................... 17 Realidad virtual ....................................................................................................................... 22 Oculus Rift ........................................................................................................................... 23 PlayStationVR ...................................................................................................................... 27 HTC Vive .............................................................................................................................. 28 Comparación ....................................................................................................................... 32 3.Planteamiento del problema y alternativas de diseño ............................................................ 33 4.Planificación, marco regulador y entorno socioeconómico ..................................................... 37 Planificación ............................................................................................................................ 37 Marco regulador ...................................................................................................................... 38 Marco regulador de programa de seguimiento .................................................................. 38 Marco regulador de juego ................................................................................................... 39 Entorno socioeconómico y presupuesto ................................................................................. 40 Entorno socioeconómico ..................................................................................................... 40 Presupuesto proyecto ......................................................................................................... 41 5.Análisis y Diseño del problema ................................................................................................ 44 Requisitos ................................................................................................................................ 44 Descripción tabla requisitos ................................................................................................ 44 Requisitos funcionales programa de seguimiento .............................................................. 44 Requisitos funcionales juego ............................................................................................... 48 Requisitos no funcionales ................................................................................................... 57 Diseño arquitectónico ............................................................................................................. 61 Arquitectura física ............................................................................................................... 61 Arquitectura lógica .............................................................................................................. 63 6.Planteamiento de la solución ................................................................................................... 71 Desarrollo de la solución ......................................................................................................... 71 Explicación de la solución ........................................................................................................ 88 2 Explicación programa de seguimiento ................................................................................ 88 Explicación juego ................................................................................................................. 96 7.Conclusiones y posibles ampliaciones ................................................................................... 107 Summary ................................................................................................................................... 115 Introduction .......................................................................................................................... 115 Summary development ......................................................................................................... 116 Conclusion and possible extensions ...................................................................................... 121 Anexo tutorial configuración TFG para Windows Visual Studio 2015 ...................................... 127 Instalación Windows Kinect SDK ........................................................................................... 127 Instalación OpenCV ............................................................................................................... 127 Instalación OpenNI2 .............................................................................................................. 134 Bibliografía ................................................................................................................................ 138 3 Índice ilustraciones Ilustración 1 Funcionamiento de un acelerómetro para el cálculo de la inclinación ................. 11 Ilustración 2 Distintos ejes de rotación, los cuales pueden ser medidos a través del uso de giroscopios .................................................................................................................................. 12 Ilustración 3 Wii Mote con Wii Nunchuk .................................................................................... 12 Ilustración 4 Barra sensora Wii con cinco LED infrarrojos ubicados en ambos laterales. .......... 13 Ilustración 5 Accesorio Wii Motion Plus ..................................................................................... 14 Ilustración 6 PlayStation Move ................................................................................................... 15 Ilustración 7 PlayStation Eye ....................................................................................................... 15 Ilustración 8 PlayStation Camera ................................................................................................ 16 Ilustración 9 Cámara Kinect V1 ................................................................................................... 17 Ilustración 10 Diagrama de la tecnología detrás de la cámara Kinect (Primesense) .................. 18 Ilustración 11 Componentes cámara Kinect V1 extraída de [23] ................................................ 19 Ilustración 12 Ejemplo patrones de puntos infrarrojos extraído de [33] ................................... 20 Ilustración 13 Imagen funcionamiento Modulación por impulsos extraída de [35] ................... 21 Ilustración 14 Imagen funcionamiento Modulación de onda continua extraída de [13.3] ........ 21 Ilustración 15 Imagen de mi escritorio escaneado 3D mediante Kinect fusión SDK 1.8 (Kinect V1) ............................................................................................................................................... 22 Ilustración 16 Imagen de mi escritorio escaneado 3D con Kinect fusión con color SDK 1.8 (Kinect V1) ................................................................................................................................... 22 Ilustración 17 Oculus Rift DK1 ..................................................................................................... 24 Ilustración 18 Oculus Rift DK2 ..................................................................................................... 25 Ilustración 19 Ejemplo del efecto producido sin “low persistence” extraído de *52+ ................ 26 Ilustración 20 Oculus Rift CV1 ..................................................................................................... 27 Ilustración 21 Oculus Touch ........................................................................................................ 27 Ilustración 22 Prototipos “Project Morpheus” ........................................................................... 28 Ilustración 23 PlayStation VR .....................................................................................................