UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE INFORMÁTICA DEPARTAMENTO DE INGENIERÍA DEL SOFTWARE E INTELIGENCIA ARTIFICIAL TESIS DOCTORAL Stereo vision-based perception, path planning and navigation strategies for autonomous robotic exploration Percepción basada en visión estereoscópica, planificación de trayectorias y estrategias de navegación para exploración robótica autónoma MEMORIA PARA OPTAR AL GRADO DE DOCTOR PRESENTADA POR Raúl Correal Tezanos Directores Gonzalo Pajares Martinsanz José Jaime Ruz Ortiz Madrid, 2015 ©Raúl Correal Tezanos, 2015 UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE INFORMÁTICA Departamento de Ingeniería del Software e Inteligencia Artificial PERCEPCIÓN BASADA EN VISIÓN ESTEREOSCÓPICA, PLANIFICACIÓN DE TRAYECTORIAS Y ESTRATEGIAS DE NAVEGACIÓN PARA EXPLORACIÓN ROBÓTICA AUTÓNOMA Memoria para optar al grado de doctor, presentada por Raúl Correal Tezanos Dirigida por Gonzalo Pajares Martinsanz Jose Jaime Ruz Ortiz Madrid, 2015 UNIVERSIDAD COMPLUTENSE DE MADRID FACULTAD DE INFORMÁTICA Departamento de Ingeniería del Software e Inteligencia Artificial PhD thesis STEREO VISION-BASED PERCEPTION, PATH PLANNING AND NAVIGATION STRATEGIES FOR AUTONOMOUS ROBOTIC EXPLORATION Dissertation submitted to obtain the Ph. D. Degree by: D. Raúl Correal Tezanos Supervisors: Dr. D. Gonzalo Pajares Martinsanz Dr. D. Jose Jaime Ruz Ortiz Madrid (Spain), 2015 ABSTRACT This thesis is concerned with the development of a visual-based autonomous navigation strategy for robotic exploration of planetary surfaces. The collection of subsystems, modules and software presented in this work have been developed from the ground up, as most of the existing tools in this domain are proprietary of national space agencies, usually not accessible to the research community. A multi-layer modular software architecture with several hierarchical levels has been designed to host the series of algorithms that implement the autonomous navigation strategy and ensure software portability, reusability and hardware independence. This work also includes the design and implementation of a framework aimed to support the development of the navigation strategies. It is partially based in open source tools and component of the self at the reach of any researcher/institution, with adaptations and extensions. The framework provides 3D simulation capabilities and models of robotic vehicles, including mechanical design and sensors, and operational environments, emulating planetary surfaces like Mars, for analysis and validation of the developed navigation approaches and strategies at the functional level. The framework also includes debugging and monitoring capabilities. The present thesis is composed of two main parts: in the first part it is addressed the design and development of rover’s high-level autonomy capabilities, focusing in autonomous navigation, supported by a purposely designed simulation and monitoring framework. A set of field experiments, with a physical robot and real hardware, have been carried out, detailing results, algorithms’ processing time and the overall system’s behavior and performance. As a result, the perception system has been identified as a crucial component within the navigation strategy and, therefore, the main focus of potential system’s optimizations and enhancements. As a consequence, in the second part of this work, the problem of stereo matching and features' correspondence between pair of images and high- quality 3D reconstruction of unstructured natural, rough environments is addressed. A number of matching algorithms, image processes and filters have been analyzed. It is generally assumed the intensities of corresponding points in two images of a stereo pair are equal. However, it has been verified that this assumption is often false, even though they both images are acquired from a vision system composed of two identical cameras. Consequently, an automatic expert system is proposed for automatic intensity correction in stereo pairs of images and 3D terrain reconstruction based on the novel application of image processes not applied so far to the stereo vision field. Such processes are homomorphic filtering and histogram matching. They are intended for correcting intensities of the stereo pair coordinately, adjusting one image as a function of the other. Additionally, results have been further enhanced by applying a purposely designed process directed by clusters based on the principle of spatial continuity to eliminate false positives and erroneous correspondences. A study of the effects of applying such filters to the input images, in a pre- matching and post-matching steps correspondingly, has been carried out and the performance verified favorably. The application of these processes has allowed obtaining a higher number of valid correspondences in contrast to performing the stereo matching process without applying them, achieving significant improvements in the disparity maps and, therefore, in the overall perception and 3D reconstruction processes. Keywords: robotics, rovers, planetary exploration, mobile robots, simulation, software architecture, path planning, stereo-vision, matching, correspondence, image processing. RESUMEN En esta tesis se trata el desarrollo de una estrategia de navegación autónoma basada en visión artificial para exploración robótica autónoma de superficies planetarias. Se han desarrollado una serie de subsistemas, módulos y software específicos para la investigación desarrollada en este trabajo, ya que la mayoría de las herramientas existentes para este dominio son propiedad de agencias espaciales nacionales, no accesibles a la comunidad científica. Se ha diseñado una arquitectura software modular multi-capa con varios niveles jerárquicos para albergar el conjunto de algoritmos que implementan la estrategia de navegación autónoma y garantizar la portabilidad del software, su reutilización e independencia del hardware. Se incluye también el diseño de un entorno de trabajo destinado a dar soporte al desarrollo de las estrategias de navegación. Éste se basa parcialmente en herramientas de código abierto al alcance de cualquier investigador o institución, con las necesarias adaptaciones y extensiones, e incluye capacidades de simulación 3D, modelos de vehículos robóticos, sensores, y entornos operacionales, emulando superficies planetarias como Marte, para el análisis y validación a nivel funcional de las estrategias de navegación desarrolladas. Este entorno también ofrece capacidades de depuración y monitorización. La presente tesis se compone de dos partes principales. En la primera se aborda el diseño y desarrollo de las capacidades de autonomía de alto nivel de un rover, centrándose en la navegación autónoma, con el soporte de las capacidades de simulación y monitorización del entorno de trabajo previo. Se han llevado a cabo un conjunto de experimentos de campo, con un robot y hardware real, detallándose resultados, tiempo de procesamiento de algoritmos, así como el comportamiento y rendimiento del sistema en general. Como resultado, se ha identificado al sistema de percepción como un componente crucial dentro de la estrategia de navegación y, por tanto, el foco principal de potenciales optimizaciones y mejoras del sistema. Como consecuencia, en la segunda parte de este trabajo, se afronta el problema de la correspondencia en imágenes estéreo y reconstrucción 3D de entornos naturales no estructurados. Se han analizado una serie de algoritmos de correspondencia, procesos de imagen y filtros. Generalmente se asume que las intensidades de puntos correspondientes en imágenes del mismo par estéreo es la misma. Sin embargo, se ha comprobado que esta suposición es a menudo falsa, a pesar de que ambas se adquieren con un sistema de visión compuesto de dos cámaras idénticas. En consecuencia, se propone un sistema experto para la corrección automática de intensidades en pares de imágenes estéreo y reconstrucción 3D del entorno basado en procesos de imagen no aplicados hasta ahora en el campo de la visión estéreo. Éstos son el filtrado homomórfico y la correspondencia de histogramas, que han sido diseñados para corregir intensidades coordinadamente, ajustando una imagen en función de la otra. Los resultados se han podido optimizar adicionalmente gracias al diseño de un proceso de agrupación basado en el principio de continuidad espacial para eliminar falsos positivos y correspondencias erróneas. Se han estudiado los efectos de la aplicación de dichos filtros, en etapas previas y posteriores al proceso de correspondencia, con eficiencia verificada favorablemente. Su aplicación ha permitido la obtención de un mayor número de correspondencias válidas en comparación con los resultados obtenidos sin la aplicación de los mismos, consiguiendo mejoras significativas en los mapas de disparidad y, por lo tanto, en los procesos globales de percepción y reconstrucción 3D. Palabras clave: robótica, rovers, exploración planetaria, robots móviles, simulación, arquitectura software, planificación de trayectorias, visión estéreo, correspondencia, procesado de imágenes. CONTENTS INTRODUCTION .......................................................................................................................................................... 1 1.1 Antecedents and Problems Identification .................................................................................... 1 1.2 Motivation and objectives ..................................................................................................................