Simplicial Complexes Reconstruction and Generalization from Mobile
Total Page:16
File Type:pdf, Size:1020Kb
THÈSE PRÉSENTÉE POUR OBTENIR LE GRADE DE : Docteur en Philosophie de l’Université Paris-Est MSTIC (ED532) SPÉCIALITÉ:SCIENCES ET TECHNOLOGIES DE L’INFORMATION GÉOGRAPHIQUE RECONSTRUCTION ET GÉNÉRALISATION DE COMPLEXES SIMPLICIAUX À PARTIR DE SCANS LIDAR DE SCÈNES URBAINES SIMPLICIAL COMPLEXES RECONSTRUCTION AND GENERALISATION OF 3D LIDAR DATA IN URBAN SCENES Stéphane A. GUINARD Directeur de thèse : Bruno VALLET Encadrants : Laurent CARAFFA & Lo¨ıc LANDRIEU SOUTENUE PUBLIQUEMENT LE 19 JUIN 2020 Composition du Jury Paul CHECCHIN Université Clermont Auvergne Rapporteur Roderik LINDENBERGH Delft University of Technology Rapporteur Franc¸ois GOULETTE Mines ParisTech Président du jury Sylvie DANIEL Université Laval Examinateur Pierre GRUSSENMEYER INSA Strasbourg Examinateur Pooran MEMARI École Polytechnique Examinateur Laurent CARAFFA IGN Encadrant Bruno VALLET IGN Directeur de thèse SIMPLICIAL COMPLEXES RECONSTRUCTION AND GENERALISATION OF 3D LIDAR DATA IN URBAN SCENES Stéphane A. GUINARD Advisor: Bruno VALLET Supervizors: Laurent CARAFFA & Lo¨ıc LANDRIEU Jury members Paul CHECCHIN Université Clermont Auvergne Reviewer Roderik LINDENBERGH Delft University of Technology Reviewer Franc¸ois GOULETTE Mines ParisTech President Sylvie DANIEL Université Laval Examiner Pierre GRUSSENMEYER INSA Strasbourg Examiner Pooran MEMARI École Polytechnique Examiner Laurent CARAFFA IGN Supervizor Bruno VALLET IGN Advisor LASTIG – ACTE, INSTITUT NATIONAL DE L’INFORMATION GÉOGRAPHIQUE ET FORESTIÈRE (IGN) iii Colophon This disseration was typesetted using the LATEX typesetting system, originally de- veloped by Leslie Lamport, based on TEX created by Donald Knuth. The bibliography has been managed and compiled with the BibTEX software developed by Oren Patash- nik and Leslie Lamport. This document has been compiled with the pdfLATEX software, originally developed by Hàn Thế Thành. This thesis was done at the ACTE (ACquisition et TraitEment de données Image / Lidar / Radar) team of the LaSTIG laboratory in Saint-Mandé, France, with the finan- cial support of the DGA. The slides for the defense are available at: https://fr.overleaf.com/read/qdwnvjrydzsq. The bibtex entry to cite this dissertation is: @phdthesis{guinard2020simplicial, author = {{Guinard, St\’ephane}}, title = {{Simplicial Complexes Reconstruction and Generalization from 3{D} {LiDAR} Data in Urban Scenes}}, school = {{Universit\’e Paris Est}}, year = {2020}, month = {June} } For any questions or remarks, feel free to contact me by email at: [email protected]. August 31, 2020 Vincennes, France v À mes grand-parents, Pierre et Juliette. vii Le monde a une réalité. C’est d’elle qu’il faut partir, non d’un modèle idéal qu’il s’agirait d’approcher au plus près. Le monde est. Le monde est ce qu’il est. Peu importe ce qu’il pourrait être, ce qu’il aurait pu devenir, ce qu’il sera si... Alain Damasio ix x Abstract Thanks to their ever improving resolution and accessibility, Light Detection And Ranging (LiDAR) sensors are increasingly used for mapping cities. Indeed, these sen- sors are able to efficiently capture high-density scans, which can then be used to pro- duce geometrically detailed reconstructions of complex scenes. However, such recon- struction requires organizing the scan with a fitting data structure, such as point clouds or meshes. Point clouds provide such a representation in a compact way, but their dis- crete nature prevents some applications such as visualization or simulation. Meshes allow for a continuous representation of surfaces, but are not well suited for represent- ing complex objects, whose level of detail can exceed the resolution. To address these limitations, we propose to reconstruct a continuous geometry of the acquisition where sufficient geometric information is available only. This leads us to create a reconstruc- tion mixing triangles, edges and points. We call such collection of objects a simplicial complex. In this thesis, we study the creation of geometrically detailed 3-dimensional (3D) models of urban scenes, based on simplicial complexes. We show that simplicial com- plexes are a suitable alternative to such meshes. Indeed, they are fast to compute, and can be simplified while maintaining high geometric geometric fidelity with respect to the input scan. We argue that simplicial complexes convey valuable geometric infor- mation which can in turn be used for the semantization of 3D point clouds. We also think that they can serve as input for multi-scale reconstructions of urban scenes. We first present an efficient algorithm for computing simplicial complexes from LiDAR scans of urban scenes. Since the reconstructed simplicial complexes can be very large, they can be difficult to process on a standard computer. To handle this challenge, we investigate different approaches for their spatial generalization by ap- proximating large and geometrically simple areas with elementary primitives. To this end, we propose a new algorithm to compute piecewise-planar approximations of 3D point clouds, based on a global optimization approach. Next, we propose two differ- ent applications of simplicial complexes. The first one is a polygonalization method improving the creation of light yet geometrically accurate 3D models. The second one is a weakly-supervised classification method using 3D local and global descriptors. Keywords: Point Cloud, Surface Reconstruction, Classification, Segmentation, Sim- plicial Complexes, LiDAR. xi xii Résumé Grâce à leur résolution et à leur accessibilité toujours meilleures, les capteurs Li- DAR sont de plus en plus utilisés pour cartographier les villes. En effet, ces capteurs sont capables de réaliser efficacement des acquisitions à haut résolution, qui peuvent ensuite être utilisées pour produire des reconstructions géométriquement détaillées de scènes complexes. Cependant, une telle reconstruction nécessite d’organiser les don- nées avec une structure de données adaptée, comme des nuages de points ou des maillages. Les nuages de points fournissent une représentation compacte des données, mais leur nature discrète empêche certaines applications telles que la visualisation ou la simulation. Les maillages permettent une représentation continue des surfaces, mais ne sont pas bien adaptés à la représentation d’objets complexes, dont le niveau de dé- tail peut dépasser la résolution de l’acquisition. Pour remédier à ces limitations, nous proposons de reconstruire une géométrie continue uniquement lorsque suffisamment d’informations géométriques sont disponibles. Cela nous amène à créer une recons- truction mêlant triangles, arêtes et points. Nous appelons une telle collection d’objets un complexe simplicial. Dans cette thèse, nous étudions la création de modèles 3D de scènes urbaines géo- métriquement détaillés, basés sur des complexes simpliciaux. Nous montrons que les complexes simpliciaux sont une alternative appropriée aux maillages. En effet, ils sont rapides à calculer et peuvent être simplifiés tout en conservant une grande fidélité géométrique par rapport aux données d’entrée. Nous soutenons que les complexes simples transmettent de précieuses informations géométriques qui peuvent à leur tour être utilisées pour la sémantisation des nuages de points 3D. Nous pensons également qu’ils peuvent servir de base pour des reconstructions multi-échelles de scènes ur- baines. Nous présentons d’abord un algorithme efficace pour le calcul de complexes sim- pliciaux à partir d’acquisitions LiDAR de scènes urbaines. Comme les complexes sim- pliciaux reconstruits peuvent être très lourds, ils peuvent être difficiles à traiter sur un ordinateur standard. Pour relever ce défi, nous étudions différentes approches pour les généraliser spatialement, en approximant de grandes zones géométriquement simples par des primitives simples. À cette fin, nous proposons un nouvel algorithme pour calculer des approximations planaires par morceaux de nuages de points 3D, basé sur une approche d’optimisation globale. Ensuite, nous proposons deux applications dif- férentes des complexes simpliciaux. La première est une méthode de polygonalisation améliorant la création de modèles 3D légers mais géométriquement précis. La seconde est une méthode de classification faiblement supervisée utilisant des descripteurs 3D locaux et globaux. Mots clés : nuages de points, reconstruction de surface, classification, segmentation, complexes simpliciaux, LiDAR. xiii xiv Acknowlegements It’s hard to believe that 3 years have passed and that my PhD. came to an end. However, as short as it might seem for some, I feel like I lived an amazing adventure, and I owe so much to so many people that I don’t know who to acknowledge first. I want to start by thanking the French DGA for the finantial support they provided for this work. Thanks to them I was able to work full time and stay focused on my re- search. I more particularly thank Marie-Véronique Serfaty, Odile Ousset and Gwladys Theuillon for their interest and the discussions we had. I hope the DGA will find this work interesting and helpful for future applications. I deeply thank Bruno, for always being here for me, from even before the start of the thesis, up to the defense. He always found time to help, teach and encourage me. Thanks to him, I was able to learn and experiment on various topics. His vast experience, along with his desire to impart his knowledge made me eager to always give the best, and I’m genuinely happy to had the opportunity to work with him. Also, this work would not have been possible without the without the support of Loïc and