Some Aspects of the Optimization Over the Copositive and the Completely Positive Cone
Total Page:16
File Type:pdf, Size:1020Kb
Some aspects of the optimization over the copositive and the completely positive cone Dissertation zur Erlangung des akademischen Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) Dem Fachbereich IV der Universit¨at Trier vorgelegt von Julia Witzel Trier, 2013 Eingereicht am 17.07.2013 Gutachter: Prof. Dr. Mirjam Dur¨ Prof. Dr. Gabriele Eichfelder Tag der mundlichen¨ Prufung:¨ 25.09.2013 Die Autorin hat im Laufe des Promotionsverfahrens geheiratet und hieß zu dessen Beginn Julia Sponsel. Zusammenfassung Optimierungsprobleme tauchen in vielen praktischen Anwendungsbereichen auf. Zu den einfachsten Problemen geh¨oren lineare Optimierungsprobleme. Oft reichen lineare Probleme allerdings zur Modellierung praktischer Anwendun- gen nicht aus, sondern es muss die Ganzzahligkeit von Variablen gefordert werden oder es tauchen nichtlineare Nebenbedingungen oder eine nichtlineare Zielfunktion auf. Eine wichtige Problemklasse stellen hierbei quadratische Pro- bleme dar, welche im Allgemeinen aber schwer zu l¨osen sind. Ein Ansatz, der sich in den letzten Jahren entwickelt und verbreitet hat, besteht in der Umfor- mulierung quadratischer Probleme in sogenannte kopositive Programme. Ko- positive Programme sind lineare Optimierungsprobleme uber¨ dem Kegel der kopositiven Matrizen n×n T T n Cn = fA 2 R : A = A ; x Ax ≥ 0 fur¨ alle x 2 R ; x ≥ 0g; oder dem Dualkegel, dem Kegel der vollst¨andig positiven Matrizen m ∗ n X T n o Cn = xixi : xi 2 R ; xi ≥ 0 fur¨ alle i = 1; : : : ; m : i=1 Die Schwierigkeit dieser Probleme liegt in der Kegelbedingung. Aber nicht nur das Optimieren uber¨ diesen Kegeln ist schwierig. Wie von Murty und Kabadi (1987) und Dickinson und Gijben (2013) gezeigt ist es NP-schwer zu testen, ob eine gegebene Matrix kopositiv oder vollst¨andig positiv ist. Ein besseres Verst¨andnis dieser Kegel tr¨agt daher zum besseren Verst¨andnis und zum Finden neuer L¨osungsmethoden fur¨ quadratische Probleme bei. Eine verbreitete Vorgehensweise bei der Betrachtung kopositiver Program- me besteht darin, den kopositiven beziehungsweise den vollst¨andig positiven Kegel durch Approximationskegel zu ersetzen. Wenn die daraus resultieren- den Probleme numerisch gel¨ost werden k¨onnen, erlaubt dies die Berechnung von Schranken fur¨ den gesuchten Optimalwert. In den letzten Jahren wurden verschiedene Approximationen vorgestellt (Parrilo, 2000; Bomze and de Klerk, 2002; de Klerk and Pasechnik, 2002; Pe~naet al., 2007; Bundfuss and Dur,¨ i 2009). Bei allen Ans¨atzen fuhrt¨ das Optimieren uber¨ den Approximationske- geln zu linearen oder semidefiniten Programmen. Die zweite grunds¨atzliche Vorgehensweise besteht in der Verwendung von Schnittebenen. Ersetzt man den vollst¨andig positiven Kegel in der Kegelbe- dingung beispielsweise durch den positiv semidefiniten Kegel, fuhrt¨ dies zu einer Relaxierung des Problems, die eine Schranke fur¨ den gesuchten Optimal- wert liefert. Im Allgemeinen ist eine Optimall¨osung dieser Relaxierung jedoch nicht vollst¨andig positiv und das Hinzufugen¨ einer Schnittebene, die diese Op- timall¨osung vom vollst¨andig positiven Kegel separiert, fuhrt¨ zu einer sch¨arferen Relaxierung und einer besseren Schranke. In der vorliegenden Dissertation besch¨aftigen wir uns mit verschiedenen Aspekten der kopositiven Optimierung. Wir fuhren¨ zun¨achst die relevanten Begriffe und Ergebnisse zum kopositiven und vollst¨andig positiven Kegel so- wie der kopositiven Optimierung ein. Dann zeigen wir, wie die Projektion einer Matrix auf diese Kegel berechnet werden kann. Diese Projektionen werden im Anschluss verwendet, um Faktorisierungen vollst¨andig positiver Matrizen zu berechnen. Eine zweite Anwendung besteht in der Berechnung von Schnitt- ebenen fur¨ Optimierungsprobleme uber¨ dem vollst¨andig positiven Kegel. Der vorgestellte Ansatz ist der erste, mit dem eine beliebige nicht vollst¨andig po- sitive Matrix vom vollst¨andig positiven Kegel separiert werden kann. Fur¨ Ma- trizen, deren Graph dreiecksfrei ist, beschreiben wir eine alternative Methode zur Berechnung von Schnittebenen, die diese besondere Struktur ausnutzt. Schließlich betrachten wir kopositive und vollst¨andig positive Programme, die sich als Umformulierungen quadratischer Optimierungsprobleme ergeben. Da- bei besch¨aftigen wir uns zun¨achst mit dem Standard-quadratischen Optimie- rungsproblem. Wir untersuchen verschiedene Klassen von Zielfunktionen, fur¨ die der Optimalwert des Problems durch das L¨osen eines linearen oder semi- definiten Programms bestimmt werden kann. Dies fuhrt¨ zu zwei Algorithmen zum L¨osen Standard-quadratischer Optimierungsprobleme. Die Algorithmen werden anhand numerischer Beispiele illustriert und diskutiert. Die vorge- stellten Methoden lassen sich nicht ohne Weiteres auf kopositive Formulie- rungen von allgemeineren quadratischen Optimierungsproblemen ubertragen.¨ Dies verdeutlichen wir anhand von Beispielen. ii Contents Introduction 1 Contributions . .3 1. Notation and preliminaries 5 1.1. Vectors and matrices . .5 1.2. Graphs . .7 2. The copositive and the completely positive cone 11 2.1. Cones . 11 2.2. The copositive cone . 13 2.2.1. Copositivity criteria . 18 2.3. The completely positive cone . 21 2.3.1. Complete positivity criteria . 23 2.4. Approximations . 25 2.4.1. Approximations based on simplicial partitions . 26 2.4.1.1. Simplicial partitions . 26 2.4.1.2. Approximations of the copositive cone . 28 2.4.1.3. Approximations of the completely positive cone 28 2.4.1.4. Generalization of the approach . 29 2.4.2. Approximations based on polynomials . 30 3. Conic optimization 33 3.1. Conic optimization and duality . 33 3.2. Copositive programming . 34 4. Copositive projection 39 4.1. Optimization by approximation . 39 4.2. Projection onto the copositive cone . 42 4.2.1. The algorithm . 42 4.2.1.1. Convergence of the algorithm . 44 4.2.1.2. Example . 45 4.3. Projection onto the completely positive cone . 48 iii Contents 4.4. Factorization of a completely positive matrix . 49 4.4.1. An illustrative example . 51 5. Standard quadratic optimization problems 55 5.1. The standard quadratic optimization problem . 55 5.1.1. Optimal solutions . 56 5.2. Relaxations . 58 5.2.1. Special classes of objective functions . 59 5.2.1.1. Diagonal matrices . 59 5.2.1.2. Positive semidefinite matrices . 62 5.2.1.3. Negative semidefinite matrices . 63 5.2.1.4. Interior matrices . 64 5.2.1.5. Rank one matrices . 65 5.2.1.6. Some other classes of objective functions . 65 5.2.2. Deriving an optimal solution of (StQP) . 66 5.3. Algorithms . 68 5.3.1. Algorithm 1 . 68 5.3.2. Algorithm 2 . 71 5.3.2.1. An extension . 74 5.3.3. Computing an optimal solution of (StQP) . 76 5.3.4. Numerical results . 77 5 5.4. Standard quadratic optimization problems in R ........ 80 5.4.1. Reducing the dimension . 81 1 5.4.2. Optimizing over K5 .................... 85 5.5. Quadratic programs . 87 5.5.1. Quadratic program with linear constraints . 87 5.5.1.1. Reformulation as (StQP) . 87 5.5.1.2. Reformulation as a completely positive program 88 5.5.2. Single quadratic constraint program . 89 5.5.2.1. Relaxations . 91 6. Cutting planes 93 6.1. Cutting planes for completely positive programs . 93 6.2. Separating 5 × 5 matrices from the completely positive cone . 94 6.3. Cutting planes based on copositive projection . 98 6.3.1. Constructing a cut . 98 6.3.2. Numerical results for some stable set problems . 99 6.4. Cutting planes based on triangle-free subgraphs . 102 6.4.1. Separating a triangle-free doubly nonnegative matrix . 103 iv Contents 6.4.2. Numerical results for some stable set problems . 105 6.4.2.1. Comparison with cuts based on subgraphs . 106 6.4.2.2. Comparison with other cutting planes . 109 Summary and outlook 111 A. Hoffman–Pereira matrices 113 Bibliography 117 Notation 123 Index 127 v Acknowledgements First of all, I would like to express my sincere gratitude to my supervisor, Mirjam D¨ur,for her excellent support, advice and encouragement. I would also like to thank Gabriele Eichfelder for the time and care that she took in reading my thesis and for helpful comments. I started my PhD at the University of Groningen. I would like to thank all my former colleagues at the Johann Bernoulli Institute, especially the members of my working group, Peter Dickinson, Bolor Jargalsaikhan, Luuk Gijben and Cristian Dobre, for providing a pleasant atmosphere and for the time we spent together at conferences. I would also like to thank Esmee Elshof and Ineke Schelhaas for their support with administrative matters, and Peter Arendz for his help with all kinds of computer issues. I spent the last two years of my PhD at the University of Trier. I would like to thank my colleagues at the Department of Mathematics, especially the members of the SIAM Student Chapter, for creating an inspiring and enjoyable working atmosphere. Special thanks go to Christina Jager-Zlotowski, Ursula Adrian-Morbach and Ulf Friedrich who helped me to get a smooth start in Trier. I thank Stefan for his constant encouragement and support through the years of my PhD. vii Introduction Copositive programming is concerned with the problem of optimizing a linear function over the copositive cone n×n T T n Cn = fA 2 R : A = A ; x Ax ≥ 0 for all x 2 R ; x ≥ 0g; or its dual, the completely positive cone m ∗ n X T n o Cn = xixi : xi 2 R ; xi ≥ 0 for all i = 1; : : : ; m : i=1 It is an active field of research and has received a growing amount of attention in recent years. This is because many combinatorial as well as quadratic problems can be formulated as copositive optimization problems. The concept of copositivity seems to go back to Motzkin (1952) who gave a criterion for a quadratic form to be nonnegative over the nonnegative or- thant. Since then, many copositivity criteria have been developed. However, copositive programming is a relatively young field in mathematical optimiza- tion. Quist et al. (1998) were the first to formulate optimization problems over the copositive and completely positive cones in order to strengthen the posi- tive semidefinite relaxation of quadratic programs.