Classification of Urban Point Clouds Using 3D Cnns In
Total Page：16
File Type：pdf, Size：1020Kb
Klassifikation Urbaner Punktwolken Mittels 3D CNNs In Kombination mit Rekonstruktion von Gehsteigen DIPLOMARBEIT zur Erlangung des akademischen Grades Diplom-Ingenieurin im Rahmen des Studiums Visual Computing eingereicht von Lisa Maria Kellner,BSc Matrikelnummer 01428183 an der Fakultät für Informatik der Technischen Universität Wien Betreuung: Univ.-Prof.Dipl.-Ing. Dr.techn. Dr.h.c. Werner Purgathofer Mitwirkung: Dipl.-Ing. Dr.Stefan Maierhofer Wien, 23. Februar 2021 Lisa Maria Kellner Werner Purgathofer Technische UniversitätWien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Classification of Urban Point CloudsUsing 3D CNNs In Combination with Reconstruction of Sidewalks DIPLOMA THESIS submitted in partial fulfillmentofthe requirements forthe degree of Diplom-Ingenieurin in Visual Computing by Lisa Maria Kellner,BSc Registration Number 01428183 to the Faculty of Informatics at the TU Wien Advisor: Univ.-Prof.Dipl.-Ing. Dr.techn. Dr.h.c. Werner Purgathofer Assistance: Dipl.-Ing. Dr.Stefan Maierhofer Vienna, 23rd February, 2021 Lisa Maria Kellner Werner Purgathofer Technische UniversitätWien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Erklärung zur Verfassungder Arbeit Lisa Maria Kellner,BSc Hiermit erkläre ich, dass ichdieseArbeit selbständig verfasst habe,dass ichdie verwen- detenQuellenund Hilfsmittel vollständig angegeben habeund dass ichdie Stellen der Arbeit–einschließlichTabellen,Karten undAbbildungen –, dieanderen Werken oder dem Internet im Wortlaut oder demSinn nach entnommensind, aufjeden Fall unter Angabeder Quelleals Entlehnung kenntlich gemacht habe. Wien, 23. Februar 2021 Lisa Maria Kellner v Danksagung Es wareine langeReise vomBeginnmeinesStudiums bis zu dieser Diplomarbeit und ichhabewährenddessensehrviel Unterstützung vonFamilie,Freunden undKollegen erhalten.Deshalb möchte ichmichandieser Stelle bedanken. Zuerst,möchteich mich beiVRVis Zentrum für Virtual Realityund Visualisierung Forschungs-GmbH bedanken, welches mir diese Diplomarbeit ermöglicht hat. Die VRVis Forschungs-GmbH wirdimRahmen vonCOMET –Competence Centers for Excellent Technologies(854174, 879730) durchBMK, BMDW, Land Steiermark,Steirische Wirt- schaftsförderung–SFG, Land Tirol und WirtschaftsagenturWien –Ein Fonds der Stadt Wien gefördert.Das Programm COMET wird durchdie FFGabgewickelt. All meinen Kollegen am VRVis sei ebenfalls einDankausgesprochen, für die fachliche Hilfe,Dis- kussionen,Anregungen und Unterstützung während meines Studiumsund dieserArbeit. Dabei ist einganz besonderer Dank an Stefan, Attila,Michi, Harri, Georg, Andi,Thomas, Lui,Rebecca, Janne, Mariaund Dani gerichtet. Ebenfalls möchte ichmichbei meinenEltern bedanken, welche michwährend desgesamten Studiumsunterstützt haben.Hier seiauchein großerDankanmeine restlicheFamilie und Freunde gerichtet,die mir während meinesStudiumszur Seite gestandenhaben. Außerdem möchte ichmichbei CycloMedia Deutschland,LiDAR PointCloud und StadtentwässerungsbetriebeKöln,AöR für das Bereitstellender Daten aus Köln bedanken. vii Acknowledgements It hasbeenalong journey from thebeginning of my studies to this thesisand Ihave received alot of support fromfamily,friends and colleagues during this time. Therefore, Iwouldliketotakethis opportunity to thank them. First, Iwouldliketothank VRVisZentrum für VirtualRealityund Visualisierung Forschungs-GmbH formaking this thesispossible. VRVis is funded by BMK, BMDW, Styria,SFG,Tyrol and Vienna BusinessAgency in thescopeofCOMET -Competence Centers for ExcellentTechnologies(854174, 879730) which is managed by FFG. Iwould alsoliketothank all my colleagues at VRVis fortheir professionalhelp, discussions, suggestions and support duringmystudies and this thesis.Special thanksgotoStefan, Attila,Michi, Harri,Georg, Andi, Thomas,Lui, Rebecca, Janne, Maria and Dani. Iwouldalso liketothank my parents, who supported me throughoutmystudies. Iwould alsoliketothank the rest of my family and friends,who have supportedmeduring my studies. Furthermore, Iwouldliketothank CycloMedia Deutschland,LiDAR PointCloud and StadtentwässerungsbetriebeKöln,AöR for providing the data fromCologne. ix Kurzfassung LiDAR-Gerätesind in der Lage diephysische Welt sehr genau zu erfassen. Daher werden sie häufig fürdie 3D-Rekonstruktionverwendet. Leider könnensolcheDaten sehrschnell sehrgroßwerden und meist ist nurein Bruchteilder Punktwolketatsächlichvon Interesse. Daher wirddie Punktwolkevorher gefiltert, um Algorithmennur auf diefür sie relevanten Punkte anzuwenden. Eine semantische Informationüberdie Punkte kann für einesolche Filterung verwendet werden. Die semantische Segmentierung einer Punktwolkeist ein beliebtes Forschungsgebietund auchhier gibtesinden letzten Jahren einenTrendin Richtung DeepLearning. Jedoch sindPunktwolken,imGegensatzzuBildern, nicht strukturiert.Daher werdenPunktwolken oft rasterisiert, wasjedochineinerWeise geschehen muss, sodass die zugrunde liegende Struktur gut erhaltenbleibt. In dieser Arbeitwird ein 3D Convolutional Neural Network für die semantische Segmen- tierung einer LiDAR-Punktwolkeentwickelt und trainiert. Dabei wirdeine Punktwolke mittelseinerOctree-Datenstruktur repräsentiert, welche es ermöglicht, nurrelevante Teile zu rasterisieren. Denn nurdichteTeile derPunktwolke, in denen sichwichtige Informatio- nen über die Struktur befinden, werdenimmer weiter unterteilt.Das ermöglicht es, die Knoten eines gewissen LevelsimOctree zu nehmenund diese als Daten zu rasterisieren. Es gibtviele Anwendungsgebietefür 3D Rekonstruktionen basierendauf Punktwolken. In einemstädtischen Szenario könnendas zumBeispiel ganzeStadtmodelle oder einzelne Gebäudesein. Jedoch wird in dieser Arbeitdie Rekonstruktionvon Gehwegen untersucht. Da beiÜberflutungssimulationen in Städten eineErhöhung vonein paar Zentimetern einengroßen Unterschied machen kann und Wissen über die Bordsteinegeometrie hilft die Simulation genauer zu machen. Bei derGehwegrekonstruktionwird zuerst, basierend auf dersemantischenInformationdes 3D CNNs, die Punktwolkegefiltertund dann werdenPunktmerkmale berechnet, um die Punkte des Bordsteins zu erkennen. Mit diesen Bordsteinpunkten wirddie Geometrie der Bordsteins, Gehweges und derStraße berechnet. Insgesamtwird in dieser Arbeitein Proof-of-Concept Prototypfür semantische Punktwolken- Segmentierung mittels 3D CNNs undbasierend auf dieser einDetektions- undRekon- struktionsalgorithmus für Bordsteine entwickelt. xi Abstract LiDAR devices are abletocapture the physical world very accurately.Therefore, they are often used for 3D reconstruction.Unfortunately,suchdata can become extremely large very quickly and usuallyonly asmallpart of thepoint cloud is of interest.Thus, the pointcloud is filteredbeforehand in order to applyalgorithms only on those points thatare relevant for it.Asemanticinformationabout the points canbeused for sucha filtering.Semanticsegmentation of pointclouds is apopular field of research andhere there has been atrend towards deep learning in recentyears too. However, contrary to images, pointcloudsare unstructured. Hence,point cloudsare often rasterized,but this hastobedone, suchthatthe underlying structure is represented well. In this thesis, a3DConvolutional Neural Network is developedand trained forasemantic segmentation of LiDAR pointclouds. Thereby,apointcloud is represented with an octreedata structure, whichmakes it easy to rasterizeonlyrelevantparts.Since, just dense parts of thepoint cloud,inwhichimportantinformation about thestructure is located, are subdividedfurther. This allowstosimply takenodes of acertainlevel of the octree and rasterize them as datasamples. There are manyapplicationareas for 3D reconstructionsbasedonpoint clouds. In an urbanscenario, thesecan be forexample whole citymodelsorbuildings. However, in this thesis,the reconstruction of sidewalks is explored. Since, forfloodsimulations in cities,an increase in heightofafew centimeterscan makeagreatdifferenceand information about the curbgeometryhelps to makethem more accurate. In the sidewalk reconstruction process,the pointcloud is filtered first, basedonasemanticsegmentation of a3DCNN, and then pointcloud featuresare calculated to detect curbpoints. With these curb points, the geometryofthe curb, sidewalk and streetare computed. Takenall together,this thesis develops aproof-of-conceptprototypefor semanticpoint cloud segmentation using 3D CNNs and based on that,acurb detection and reconstruction algorithm. xiii Contents Kurzfassung xi Abstract xiii Contents xv 1Introduction1 1.1 Motivation .................................. 1 1.2 Problem Statement.............................2 1.3 Aim of this Thesis ............................. 3 1.4 Structure of thisThesis ..........................4 2Related Work 5 2.1 Semantic PointCloud Segmentation................... 5 2.2 CurbDetection ............................... 17 3Semantic PointCloudSegmentation 21 3.1 DataExtraction .............................. 22 3.2 TrainingDataset..............................26 3.3 Network Learning Basics .......................... 28 3.4 Network Architecture ............................ 31 3.5 PointCloud Segmentation ......................... 34 4Curb Detection and Fitting35 4.1 PointCloud Prefiltering ..........................35 4.2 Feature Extraction .............................36 4.3 False PositiveFiltering ...........................42 4.4 CurbFitting ................................ 45 5Neural Network Training49 5.1 Datasets ................................... 49 5.2 Hyperparameter-Tuning .......................... 50 5.3 Network Using SmallGrid Size......................52