Constrained Optimization on Manifolds
Total Page:16
File Type:pdf, Size:1020Kb
Constrained Optimization on Manifolds Von der Universit¨atBayreuth zur Erlangung des Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) genehmigte Abhandlung von Juli´anOrtiz aus Bogot´a 1. Gutachter: Prof. Dr. Anton Schiela 2. Gutachter: Prof. Dr. Oliver Sander 3. Gutachter: Prof. Dr. Lars Gr¨une Tag der Einreichung: 23.07.2020 Tag des Kolloquiums: 26.11.2020 Zusammenfassung Optimierungsprobleme sind Bestandteil vieler mathematischer Anwendungen. Die herausfordernd- sten Optimierungsprobleme ergeben sich dabei, wenn hoch nichtlineare Probleme gel¨ostwerden m¨ussen. Daher ist es von Vorteil, gegebene nichtlineare Strukturen zu nutzen, wof¨urdie Op- timierung auf nichtlinearen Mannigfaltigkeiten einen geeigneten Rahmen bietet. Es ergeben sich zahlreiche Anwendungsf¨alle,zum Beispiel bei nichtlinearen Problemen der Linearen Algebra, bei der nichtlinearen Mechanik etc. Im Fall der nichtlinearen Mechanik ist es das Ziel, Spezifika der Struktur zu erhalten, wie beispielsweise Orientierung, Inkompressibilit¨atoder Nicht-Ausdehnbarkeit, wie es bei elastischen St¨aben der Fall ist. Außerdem k¨onnensich zus¨atzliche Nebenbedingungen ergeben, wie im wichtigen Fall der Optimalsteuerungsprobleme. Daher sind f¨urdie L¨osungsolcher Probleme neue geometrische Tools und Algorithmen n¨otig. In dieser Arbeit werden Optimierungsprobleme auf Mannigfaltigkeiten und die Konstruktion von Algorithmen f¨urihre numerische L¨osungbehandelt. In einer abstrakten Formulierung soll eine reelle Funktion auf einer Mannigfaltigkeit minimiert werden, mit der Nebenbedingung einer C2- Submersionsabbildung zwischen zwei differenzierbaren Mannigfaltigkeiten. F¨urAnwendungen der Optimalsteuerung wird diese Formulierung auf Vektorb¨undelerweitert. In der Literatur finden sich bereits Optimierungsalgorithmen auf Mannigfaltigkeiten, meist ohne Ber¨ucksichtigung von Nebenbedingungen [AMS09]. Dabei ist der Einsatz von Retraktionen maßgeblich. Retraktio- nen, die eine bedeutende Rolle bei der Schrittberechnung von Optimierungsalgorithmen spielen, erlauben es, die involvierten Abbildungen auf lineare R¨aumezur¨uckzuziehen, und machen somit einige Ergebnisse aus dem linearen Fall nutzbar. Insbesondere sind ¨uber Retraktionen die KKT- Bedingungen und Optimalit¨atsbedingungen zweiter Ordnung erreichbar. In dieser Arbeit wird das Konzept der Retraktionen auf Vektorb¨undel erweitert, auf denen Konsistenzbedingungen erster und zweiter Ordnung definiert sind. Andererseits ergibt sich auf jedem Punkt der Mannigfaltigkeit ein 1-Form Lagrange-Multiplikator als L¨osungdes Sattelpunktproblems. Wir beweisen, dass die Ex- istenz einer Potentialfunktion f¨urden Lagrange-Multiplikator von der Integrierbarkeit (im Sinne von Frobenius) der horizontalen Verteilung, d.h. der orthogonalen Komponente der linearisierten Nebenbedingung, abh¨angt. F¨urdie algorithmische L¨osungbeschr¨ankter Optimierungsprobleme auf Mannigfaltigkeiten wird die affine kovariante Composite-Step-Methode, wie dargestellt in [LSW17], auf diese R¨aumeerweitert und somit lokale superlineare Konvergenz des Algorithmus f¨ur Retraktionen erster Ordnung er- reicht. Zuerst wird der Algorithmus an einem beschr¨anktenEigenwert-Problem getestet. Dann i ii werden numerische Experimente in der Mechanik von elastischen nicht dehnbaren St¨aben betra- chtet. In letzterem Fall wird der Gleichgewichtszustand eines elastischen nicht dehnbaren Stabes unter Eigengewicht berechnet. Der Fall, dass der Stab in Kontakt mit einer oder mehreren Fl¨achen kommt, wird in Betracht gezogen. Dabei wird die Riemannsche Struktur des positiven Kegels 3 + im R , wie in [NT 02] dargestellt genutzt. Zus¨atzlich wird ein Optimalsteuerungsproblem eines elastischen nichtdehnbaren Stabs gel¨ostals Anwendungsfall beschr¨ankter Optimierungsprobleme auf Vektorb¨undeln.Schließlich werden Retraktionen auf dem Raum von Orientierung erhaltenden Tetraedern f¨urfinite Elastizit¨atsproblemegenutzt. Abstract Optimization problems are present in many mathematical applications, and those that are partic- ularly challenging arise when it comes to solving highly nonlinear problems. Hence, it is of benefit exploiting available nonlinear structure, and optimization on nonlinear manifolds provides a general and convenient framework for this task. Applications arise, for instance, in nonlinear problems for linear algebra, nonlinear mechanics, and many more. For the case of nonlinear mechanics, the aim is to preserve some specific structure, such as orientability, incompressibility or inextensibility, as in the case of elastic rods. Moreover, additional constraints can occur, as in the important case of optimal control problems. Therefore, for the solution of such problems, new geometrical tools and algorithms are needed. This thesis deals with the setting of constrained optimization problems on manifolds and with the construction of algorithms for their numerical solution. In the abstract formulation, we seek to minimize a real function on a manifold, where the constraint is given by a submersion that is a C2-map between two differentiable manifolds. Furthermore, for optimal control applications, we extend this formulation to vector bundles. Optimization algorithms on manifolds are available in the literature, mostly for the unconstrained case [AMS09], and the usage of retraction maps is an indispensable tool for this purpose. Retractions, which play a fundamental role in the updating of the iterates in optimization algorithms, also allow us to pullback the involved maps to linear spaces, making possible the use of tools and results from the linear setting. In particular, KKT-theory and second-order optimality conditions are tractable thanks to such maps. In this work, we extend the concept of retraction to vector bundles, where first and second-order consistency conditions are also defined. On the other hand, at each point in the manifold, a 1-form Lagrange multiplier arises as a solution of a saddle point problem. We prove that the existence of a potential function for this Lagrange multiplier depends on the integrability, in the sense of Frobenius, of the horizontal distribution, i.e., the orthogonal complement of the linearized constraint map. For the algorithmic solution of constrained optimization problems on manifolds, we generalize the affine covariant composite step method presented in [LSW17] to these spaces, and local superlinear convergence of the algorithm for first-order retractions is obtained. First, we test the algorithm in a constrained eigenvalue problem. Then, we consider numerical experiments on the mechanics of elastic inextensible rods. There, we compute the final configuration of an elastic inextensible rod under dead load. The case in which the rod enters in contact with one, or several planes, is 3 considered. Hence, we exploit the Riemannian structure of the positive cone in R , as pointed out iv v in [NT+02]. In addition, we solve an optimal control problem of an elastic inextensible rod, as an application to constrained optimization problems on vector bundles. Finally, we use retractions on the space of orientation preserving tetrahedra for finite elasticity problems. Acknowledgments Firstly, I would like to thank my supervisor Prof. Dr. Anton Schiela, not only for giving me the opportunity of working on this exciting and challenging topic but also for his consistent support and guidance throughout the project. All my gratitude and admiration for him. I thank Prof. Dr. Oliver Sander for agreeing to review the present work. I also want to thank Prof. Dr. Lars Gr¨uneand Prof. Dr. Thomas Kriecherbauer for being members of the examination committee. Likewise, I would like to thank all the people from the chair of Applied Mathematics of the Uni- versity of Bayreuth with whom I had the opportunity to share time. Special thanks to Dr. Robert Baier, Sigrid Kinder, Dr. Philipp Braun, Dr. Marleen Stieler, Dr. Georg M¨uller, Arthur Fleig, Tobias Sproll, Manuel Schaller, Dr. Simon Pirkelmann, Matthias St¨ocklein - I will never forget the days spent in this place with such wonderful people. Finally, I thank my family: Flor, Javier, and Cristian, for always being there even in the distance. To Isadora, thanks for all your support, care, love and for filling my days with joy. vii Contents Zusammenfassung i Abstract iv Acknowledgments vii 1 Introduction 1 1.1 Outline . .4 2 Concepts of Differential Geometry 9 2.1 Manifolds . .9 2.2 Examples of Manifolds . 13 2.3 Vector Bundles . 17 2.4 Immersions, Submersions and Submanifolds . 22 2.5 Transversality . 24 2.6 Vector Fields, Differential Forms and Integrability . 25 2.7 Sprays, Exponential Map and Covariant Derivatives on the Tangent Bundle . 29 2.8 Connections and Covariant Derivatives on General Vector Bundles . 36 2.9 Derivative Along A Curve . 40 3 Optimization on Manifolds and Retractions 43 3.1 Unconstrained Optimization on Manifolds . 43 3.2 Retractions and their Consistency . 46 3.3 Vector Bundle Retractions . 58 4 Equality Constrained Optimization on Manifolds 75 4.1 Problem Formulation . 75 4.2 KKT-Conditions . 79 4.3 Second Order Optimality Conditions . 82 4.4 The Lagrange Multiplier on Manifolds . 83 4.5 Constrained Optimization on Vector Bundles . 88 ix x CONTENTS 5 An SQP-Method on Manifolds 95 5.1 An Affine Invariant Composite Step Method . 96 5.2 Composite Step Method on Manifolds . 99 5.3 Globalization Scheme . 106 5.4 Local Convergence Analysis . 108 5.5 Extension to Vector Bundles . 115 6 Applications 125 6.1 Constrained Eigenvalue Problem . 125 6.2 Inextensible Rod . 130 6.3 Inextensible Rod, the Case