Université Paris-Est Laboratoire d’Informatique Gaspard-Monge UMR 8049 A thesis submitted for the degree of Doctor of Philosophy Optimization techniques for image registration applied to remote sensing Bruno Conejo supervised by Prof. Pascal Monasse February 3, 2018 Abstract This thesis studies the computer vision problem of image registration in the context of geological remote sensing surveys. More precisely we dispose in this work of two images picturing the same geographical scene but acquired from two different view points and possibly at a different time. The task of registration is to associate to each pixel of the first image its counterpart in the second image. While this problem is relatively easy for human-beings, it remains an open problem to solve it with a computer. Numerous approaches to address this task have been proposed. The most promising techniques formulate the task as a numerical optimization problem. Unfortunately, the number of unknowns along with the nature of the objective function make the optimization problem extremely difficult to solve. This thesis investigates two approaches along with a coarsening scheme to solve the underlying numerical problem. Each approach makes use of a different assumption to simplify the original problem. The convex approach is computationally faster while the non-convex ap- proach delivers more precise solutions. On top of both approaches, we investigate coarsening frameworks to speed-up the computations. In our context, we study the First order Primal-Dual techniques for convex optimization. After a progressive introduction of underlying mathematics, we study the dual optimal solution space of the TV-regularized problems. We prove a new theorem that greatly facilitates the demonstration of previously established theorems. We also provide a new algorithm to optimize the famous ROF-model. As a second approach, we survey the graph-cuts techniques. We also in- vestigate different mincut-maxflow solvers since they are an essential building block of the graph-cuts techniques. We propose a new implementation of the celebrated Fast-PD solver that drastically outperform the initial implementation provided by original authors. We also study coarsening methods for both optimization approaches. We experiment with image and energy pyramid coarsening scheme for graph-cut techniques. In this context we propose a novel framework that drastically speeds-up the inference run-time while maintaining remarkable accuracy. Finally, we experiment with different remote sensing problems to demonstrate the versatility and efficiency of our approaches. Especially, we investigate the computation of depth maps from stereo-images acquired from aerial and space surveys. Using LiDAR acquisitions we also propose an algorithm to automatically infer the damages due to earthquakes and soil liquefaction. Finally, we also monitor the ground deformation induced by earthquake using realistic simulated model. Résumé Dans le contexte de la vision par ordinateur cette thèse étudie le problème d’appariement d’images dans le cadre de la télédétection pour la géologie. Plus précisément, nous disposons dans ce travail de deux images de la même scène géographique, mais acquises à partir de deux points de vue différents et éven- tuellement à un autre moment. La tâche d’appariement est d’associer à chaque pixel de la première image un pixel de la seconde image. Bien que ce problème soit relativement facile pour les êtres humains, il reste difficile à résoudre par un ordinateur. De nombreuses approches pour traiter cette tâche ont été proposées. Les techniques les plus prometteuses formulent la tâche comme un problème d’optimisation numérique. Malheureusement, le nombre d’inconnues ainsi que la nature de la fonction à optimiser rendent ce problème extrêmement difficile à résoudre. Cette thèse étudie deux approches avec un schéma multi-échelle pour résoudre le problème numérique sous-jacent. Chaque approche utilise une hypothèse différente pour simplifier le problème initial. L’approche convexe est plus rapide, tandis que l’approche non convexe offre des solutions plus précises. En plus des deux approches, nous étudions les schéma multi-échelle pour accélérer les calculs. Dans notre contexte, nous étudions les techniques Primal-Dual de première ordre pour l’optimisation convexe. Après une introduction progressive des ma- thématiques sous-jacentes, nous étudions l’espace dual de solution optimale des problèmes régularisés par a priori tv. Nous prouvons un nouveau théorème qui facilite grandement la démonstration d’autres théorèmes précédemment établis. Nous proposons également un nouvel algorithme pour optimiser le célèbre modèle ROF. Pour la seconde seconde approche nous examinons les techniques de graph- cut. Nous étudions également différents algorithmes de mincut-maxflow car ils constituent un élément essentiel des techniques de graph-cut. Nous proposons une nouvelle implémentation du célèbre algorithme Fast-PD qui améliore drastiquement les performances. Nous étudions également les méthodes multi-échelles pour les deux approches d’optimisation. Nous expérimentons les schémas de pyramide d’image et d’énergie pour les techniques graph-cut. Dans ce contexte, nous proposons une nouvelle approche qui accélère considérablement le temps d’exécution de l’inférence tout en conservant remarquablement la précision des solutions. Enfin, nous étudions différents problèmes de télédétection pour démontrer la polyvalence et l’efficacité de nos approches. En particulier, nous étudions le calcul des cartes de profondeur à partir d’images stéréo aériennes et spatiales. En utilisant les acquisitions de LiDAR, nous proposons également un algorithme pour déduire automatiquement les dommages causés par les séismes et la liquéfaction des sols. Enfin, nous étudions également la déformation du sol induite par tremblement de terre en utilisant une simulation sismique réaliste. 2 Acknowledgment To the most important person in my life, Louise Naud, I would to say thank you for bearing with me during this journey. I would like to thank my parents for their unconditional support and affection. I would like to acknowledge, Pascal Monasse, Jean-Philippe Avouac, Sebastien Leprince, Francois Ayoub and Nikos Komodakis for their guidance and numerous pieces of advice. A special thank you to Heather Steele, Lisa Christiansen, Brigitte Mondou and Sylvie Cash. I would like to thank Arwen Bradley, Hugues Talbot, Francois Malgouyres and Andrés Almansa for their time and deep review of my work. Finally, I would also like to thank people from the GPS division at Caltech and from the image lab of LIGM. Contents 1 Introduction partielle (en français) 6 1.1 Contexte . 6 1.1.1 Vue du ciel . 6 1.1.2 Applications à la géologie . 11 1.1.3 Un problème d’appariement d’images. 13 2 Introduction (English language) 15 2.1 Context . 15 2.1.1 Monitoring from above . 15 2.1.2 Application to geology . 20 2.1.3 An image registration problem . 22 2.2 Reviewing previous work . 23 2.2.1 Priors . 23 2.2.2 Framework . 24 2.3 An approximate modeling . 24 2.3.1 Mathematical modeling . 24 2.3.2 Approximations . 26 2.4 Thesis overview . 28 2.4.1 Document organization . 28 2.4.2 Contributions . 29 2.4.3 List of publications . 29 3 First order Primal-Dual techniques for convex optimization 31 3.1 Introduction and contributions . 31 3.1.1 Introduction . 31 3.1.2 Chapter organization . 32 3.1.3 Contributions . 32 3.2 Problem formulation . 32 3.2.1 Basics of convex optimization in a tiny nutshell . 32 3.2.2 Problem of interest . 34 3.2.3 From a primal to a primal dual form . 35 3.3 First order Primal Dual techniques . 36 3.3.1 Smoothing: Moreau envelope and the proximal operator . 36 3.3.2 Decoupling: Fenchel transform . 38 2 3.3.3 Primal Dual algorithm . 40 3.3.4 Conditioning and Auto tuning of step sizes . 45 3.4 Reformulating `1 based functions, Proximal operators, and Fenchel transformations . 46 3.4.1 On reformulating `1 based functions . 47 3.4.2 Proximal operators . 48 3.4.3 Fenchel transform . 54 3.5 TV regularized problems . 54 3.5.1 Notations . 54 3.5.2 Some classic TV regularized problems . 55 3.5.3 Truncation theorem for convex TV regularized problems . 57 3.5.4 A hierarchy of optimal dual spaces for TV-`2 . 59 3.5.5 Intersection of optimal dual space . 59 3.5.6 A new primal-dual formulation of the ROF model . 62 3.5.7 Fused Lasso approximation on pairwise graph for various sparsifying strength . 65 3.5.8 ROF model with a Global regularization term . 68 3.6 Examples of application . 69 3.6.1 Mincut/Maxflow . 69 3.6.2 Image denoising . 73 3.6.3 L-ROF model vs ROF model for denoising . 75 3.7 Conclusion . 81 4 Maxflow and Graph cuts techniques 82 4.1 Introduction and contributions . 82 4.1.1 Introduction . 82 4.1.2 Chapter organization . 82 4.1.3 Contributions . 83 4.2 Discrete optimization in a tiny nutshell . 83 4.2.1 Sub-modularity . 83 4.2.2 Problems of interest . 84 4.2.3 Representation of pairwise binary sub-modular functions . 84 4.2.4 A link between discrete and convex optimization through TV regularization . 85 4.2.5 Primal dual scheme for integer Linear programming . 86 4.3 Max-flow and min-cut problems . 88 4.3.1 The max-flow / min-cut . 89 4.3.2 From a min-cut problem to a max-flow problem . 89 4.3.3 Simplified equations . 92 4.3.4 Characterization of obvious partial primal solutions . 97 4.3.5 ROF and Maxflow . 98 4.4 Solvers for min-cut / max-flow problems . 99 4.4.1 Solver for chain graphs . 99 4.4.2 Iterative solvers . 101 4.4.3 Augmenting path solvers . 104 4.5 Graph-cuts for non convex problems . 104 3 4.5.1 Alpha-expansion . 105 4.5.2 Fast-PD .