Philipp Hungerl¨ander Semidefinite Approaches to Ordering Problems Dissertation zur Erlangung des akademischen Grades Doktor der Technischen Wissenschaften Alpen-Adria-Universit¨at Klagenfurt Fakult¨atf¨urTechnische Wissenschaften 1. Begutachter: Prof. Dr. Franz Rendl Institut f¨urMathematik, Universit¨atKlagenfurt 2. Begutachter: Prof. Dr. Michael J¨unger Institut f¨urInformatik, Universit¨atzu K¨oln J¨anner2012 Ehrenw¨ortliche Erkl¨arung Ich erkl¨areehrenw¨ortlich, dass ich die vorliegende wissenschaftliche Arbeit selbstst¨andigangefertigt und die mit ihr unmittelbar verbundenen T¨atigkeiten selbst erbracht habe. Ich erkl¨areweiters, dass ich keine anderen als die angegebenen Hilfsmittel benutzt habe. Alle aus gedruckten, ungedruckten oder dem Inter- net im Wortlaut oder im wesentlichen Inhalt ¨ubernommenen Formulierungen und Konzepte sind gem¨aß den Regeln f¨urwissenschaftliche Arbeiten zitiert und durch Fußnoten bzw. durch andere genaue Quel- lenangaben gekennzeichnet. Die w¨ahrenddes Arbeitsvorganges gew¨ahrteUnterst¨utzungeinschließlich signifikanter Betreuungshinweise ist vollst¨andig angegeben. Die wissenschaftliche Arbeit ist noch keiner anderen Pr¨ufungsbeh¨orde vorgelegt worden. Diese Arbeit wurde in gedruckter und elektronischer Form abgegeben. Ich best¨atige,dass der Inhalt der digitalen Ver- sion vollst¨andig mit dem der gedruckten Version ¨ubereinstimmt. Ich bin mir bewusst, dass eine falsche Erkl¨arung rechtliche Folgen haben wird. (Unterschrift) (Ort, Datum) i Abstract Combinatorial optimization and semidefinite programming have been two very active research areas over the last decades. Combinatorial optimization uses heuristic, approximation and exact algorithms to find (near-)optimal solutions for many problems of practical interest whose feasible solutions are given by a finite set. Semidefinite programming builds the basis for some of the most advanced approximation results in computer science and is applied to practical problems in control theory, engineering and combinatorial optimization. Ordering problems are a special class of combinatorial optimization problems, where weights are as- signed to each ordering of n objects and the aim is to find an ordering of maximum weight. Even for the simplest case of a linear cost function, ordering problems are known to be NP-hard, i.e. it is ex- tremely unlikely that there exists an efficient (polynomial-time) algorithm for solving ordering problems to optimality. Ordering problems arise in a large number of applications in such diverse fields as economics, business studies, social choice theory, sociology, archaeology, mathematical psychology, very-large-scale integration and flexible manufacturing systems design, scheduling, graph drawing and computational biology. In this thesis we use semidefinite optimization for solving ordering problems with up to 100 objects to provable optimality|despite their theoretical difficulty. We present a systematic investigation of semidef- inite optimization based relaxations extending and improving existing exact approaches to ordering prob- lems. We consider problems where the cost function is either linear or quadratic in the relative positions of pairs of objects. That includes well-established combinatorial optimization problems like the Linear Or- dering Problem, the minimum Linear Arrangement Problem, the Single Row Facility Layout Problem, the weighted Betweenness Problem, the Quadratic Ordering Problem and Multi-level Crossing Minimization. We provide a theoretical and practical comparison of existing exact approaches based on linear, quadratic or semidefinite relaxations. Up to now there existed quite diverse exact approaches to the various ordering problems. A main goal of this thesis is to highlight their connections and to present a unifying approach by showing that the proposed semidefinite model can be successfully applied to all kinds of ordering problems. We accomplish a polyhedral study of the various ordering polytopes in small dimensions that helps us to evaluate and further improve the suggested semidefinite relaxations. We also deduce several theoretical results showcasing the polyhedral advantages of the semidefinite approach compared to Branch-and-Cut algorithms based on linear and quadratic relaxations. Additionally we introduce a new drawing paradigm for layered graphs requiring (near-)optimal solutions of an ordering problem with quadratic cost function called Multi-level Verticality Optimization. In this new drawing paradigm we are able to describe the structure of graphs more compactly and therefore obtain (well-)readable drawings of graphs too large for other available methods. We propose several heuristic and exact approaches to solve Multi-level Verticality Optimization problems and design a drawing algorithm to illustrate the (near-)optimal solutions. For tackling ordering problems of challenging size, we construct an algorithm that uses a method from nonsmooth optimization to approximately solve the proposed semidefinite relaxations and applies a rounding scheme to the approximate solutions to obtain (near-)optimal orderings. We show the efficiency of our algorithm by providing extensive computational results for a large variety of problem classes, solving many instances that have been considered in the literature for years to optimality for the first time. While the algorithm provides improved bounds for several classes of difficult instances with a linear cost function, it is clearly the method of choice for instances with quadratic cost structure (except for some very sparse instances). ii iii Zusammenfassung Kombinatorische Optimierung und Semidefinite Programmierung waren sehr aktive Forschungsbereiche w¨ahrendder letzten 20 Jahre. In der Kombinatorischen Optimierung werden Heuristiken, Approximations- algorithmen und exakte Algorithmen zum Auffinden von (beinahe) optimalen L¨osungenf¨urviele praktisch relevante Probleme, deren zul¨assigeL¨osungendurch eine endliche Menge gegeben sind, verwendet. Die Semidefinite Programmierung stellt die Basis f¨ureinige der fortschrittlichsten Approximationsresultate in der Theoretischen Informatik dar und besitzt eine Vielzahl von Anwendungen in der Kontrolltheorie, den technischen Wissenschaften und der Kombinatorischen Optimierung. Ordnungsprobleme geh¨orenzur Klasse der Kombinatorischen Optimierungsprobleme, wobei jeder An- ordnung von n Objekten ein Gewicht zugeordnet wird und das Ziel im Auffinden der Anordnung mit maximalem Gewicht besteht. Sogar f¨urden einfachsten Fall einer linearen Kostenfunktion sind Ordnungs- probleme NP-schwierig, d.h. es ist extrem unwahrscheinlich, dass ein effizienter (polynomieller) Algorith- mus f¨urdas Auffinden der optimalen L¨osungvon Ordnungsproblemen existiert. Ordnungsprobleme treten in einer Vielzahl von Anwendungen in solch unterschiedlichen Bereichen wie Volks- und Betriebswirtschaft, Sozialwerttheorie, Soziologie, Arch¨aologie,mathematische Psychologie, VLSI- und FMS-Design, Scheduling, Graphenzeichnen und Bioinformatik auf. In dieser Arbeit verwenden wir Semidefinite Optimierung f¨urdas Finden einer optimalen L¨osung von Ordnungsproblemen mit bis zu 100 Objekten|trotz der theoretischen Schwierigkeiten. Wir pr¨asen- tieren eine systematische Untersuchung von auf Semidefiniter Optimierung basierenden Relaxationen, welche die existierenden exakten Algorithmen f¨urOrdnungsprobleme erweitern und verbessern. Wir be- trachten Probleme mit linearen und quadratischen Kosten f¨ur die relative Anordnung von Paaren von Objekten. Dies umfasst insbesondere etablierte Kombinatorische Optimierungsprobleme wie das Lineare Ordnungsproblem, das minimale Lineare Anordnungsproblem, das einreihige Anlagenanordnungsproblem, das gewichtete Betweennessproblem, das quadratische Ordnungsproblem und das mehrstufige Kreuzungs- minimierungsproblem. Wir liefern einen theoretischen und praktischen Vergleich existierender exakter Algorithmen, welche auf linearen, quadratischen und semidefiniten Relaxationen basieren. Bis jetzt existierten sehr unterschiedliche exakte Methoden f¨urdie verschiedenen Ordnungsprobleme. Es ist ein Hauptziel dieser Arbeit, deren Zusammenh¨angeaufzuzeigen und einen vereinheitlichenden Ansatz zu pr¨asentieren, indem wir nachweisen, dass das semidefinite Modell erfolgreich auf alle Typen von Ordnungsproblemen angewendet werden kann. Wir f¨uhreneine polyedrische Studie einiger Ordnungspolytope mit kleiner Dimension durch. Dies hilft uns, die vorgeschlagenen Relaxationen zu evaluieren und zu verbessern. Wir leiten auch einige theoretische Resultate ab, welche die polyedrischen Vorteile der semidefiniten Methode im Vergleich zu auf linearen und quadratischen Relaxationen basierenden Branch-and-Cut Algorithmen aufzeigen. Zus¨atzlich f¨uhrenwir ein neues Zeichenparadigma f¨urgeschichtete Graphen ein, welches (beinahe) optimale L¨osungen eines Ordnungsproblems mit quadratischer Kostenfunktion, das den Namen mehrstufige Vertikalit¨ats- optimierung tr¨agt,ben¨otigt. In diesem neuen Zeichenparadigma ist es uns m¨oglich die Struktur von Graphen kompakter zu beschreiben und dadurch (gut) lesbare Zeichnungen von Graphen zu erhalten, welche zu groß f¨urdie anderen verf¨ugbaren Methoden sind. Wir schlagen einige Heuristiken und exakte Ans¨atzezur L¨osungder mehrstufigen Vertikalit¨atsoptimierungvor und entwerfen einen Zeichenalgorithmus zur Illustration der (beinahe) optimalen L¨osungen. Um Ordnungsprobleme anspruchsvoller Gr¨oßezu l¨osen,konstruieren wir einen Algorithmus, welcher eine Methode der nicht-glatten Optimierung verwendet, um die vorgeschlagenen semidefiniten