Fitness Landscape Analysis and Algorithm Selection for Assignment
Total Page：16
File Type：pdf, Size：1020Kb
Submitted by Andreas Beham Submitted at Institute for Formal Models and Verification Supervisor and First Examiner Michael Affenzeller Fitness Landscape Second Examiner Enrique Alba Analysis and Algorithm June 2019 Selection for Assignment Problems Doctoral Thesis to obtain the academic degree of Doktor der technischen Wissenschaften in the Doctoral Program Technische Wissenschaften JOHANNES KEPLER UNIVERSITY LINZ Altenbergerstraße 69 4040 Linz, O¨ sterreich www.jku.at DVR 0093696 Acknowledgments This thesis is the result of a long endeavor in the application of metaheuristic optimization in real-world projects. As such I have to thank many people that stood by me through the years. I have to thank my family, my colleagues, and the fellow scientists that are adventuring in the same waters. I thank my life companion Dona D. and my son Vincent E. for all the fun we have together and for enduring most of the long working hours. My father Wolfgang, my brother Werner, my sister Marielis, and grand parents who support and stand by me. My boss, supervisor, mentor, and colleague Michael Affenzeller who I thank for his hard work and for the spirit with which he directs our research group. My colleagues Stefan, Gabriel, Michael, Stephan, Erik, Johannes, Sebastian, Viktoria, Philipp, Bogdan and the rest of the research group as well as former colleagues Roland, Andreas and Judith have to be thanked for the great time that we spent together. I want to thank the FH Oberösterreich which is a thriving institution and a great place to work at. I want to thank the Johannes Kepler University for creating high quality study programmes and its dedicated professors Armin Biere and Gü for their support. I want to thank my second supervisor Enrique Alba especially, for his hard work dedicated to the advancement of our scientific field and his continued support for young researchers. Last but not least, I want to thank the hard working people at our company partners without whom successful applications and achieving real-world results in our projects, and as a consequence also this thesis, would have been entirely impossible. i ii Abstract The field of optimization has a wide range of applications in the real world. The operation of trucks, ships, cranes, production lines, hospitals, or warehouses results in many decision situations that affect efficiencies, business capabil- ities, and costs. Deterministic and stochastic models formalize the decision situations as well as their objectives. Exact and heuristic techniques are em- ployed to solve these models efficiently. The resulting solutions are then used to derive the respective decisions. A large range of such solving algorithms are available, but which outperform each other in different situations. It is thus a major problem to decide which algorithm instance should be applied to solve a specific model. It is the goal of this thesis to devise and evaluate methods that are able to solve this so called algorithm selection problem. We will evaluate whether an improved solving algorithm can be found that reuses existing approaches. The goal is to evaluate such an algorithm when applied to well-known models and evaluate its performance. In this light, research and development efforts from three domains are described and studied. First, fitness landscape analysis is a method applicable to characterize mod- els and their instances through a set of features. We will provide an overview on high-level characteristics that influence the performance of solving algorithms. In this thesis a new method termed directed walk and new features are devised, different variants thereof are analyzed, and new ideas for algorithms are given. Second, the algorithm selection problem is solved in two case studies. Sev- eral thousand runs have been performed on a wide range of different benchmark instances. Thereby, the performance of a range of algorithms is recorded. In these two studies we will evaluate a classification-based approach to the al- gorithm selection problem. Thereby, we will compare the performances of algorithms and relate those to the landscape characteristics. We will show that a combined approach performs better than an individual algorithm. Third, the general research model of operations research is introduced and it is discussed how such results can be transferred to other models and domains. Thereby, we discuss the steps involved to move from a real-world problem to a scientific model and further to a solution through an efficient solver. Finally, we introduce software systems that support such tasks and which have been created by the author in the course of his studies. iii iv Kurzfassung Optimierungsalgorithmen finden vielfach Anwendung bei Planungs- und Steue- rungsaufgaben. Im Betrieb von Lastkraftwagen, Shiffen, Kränen, Produktions- linien, Spitälern oder Lagerhäuser sind Entscheidungen zu treffen, die die Effi- zienz, Handlungsmöglichkeiten und Kosten beeinflussen. Deterministische und stochastische Modelle formalisieren diese Entscheidungssituationen und deren Ziele. Exakte und heuristische Ansätze werden zur effizienten Lösung solcher Modelle eingesetzt und entsprechende Entscheidungen werden aus deren Lö- sungen abgeleitet. Eine Vielzahl unterschiedlicher Algorithmen zur Lösungsfin- dung sind verfügbar, übertreffen sich jedoch gegenseitig bei unterschiedlichen Problemen. Es ist daher entscheidend den richtigen Algorithmus auszuwählen. Ziel dieser Arbeit ist es, Methoden die das sogenannte Algorithmus Aus- wahlproblem lösen, zu entwickeln und zu evaluieren. Wir werden verbesserte Methoden auf Basis bestehender Algorithmen entwicklen und in der Anwen- dung auf bekannte Modelle untersuchen. In dieser Hinsicht werden Forschungs- und Entwicklungstätigkeiten aus drei Bereichen zusammengeführt. Zuerst wird das Gebiet der Fitnesslandschaftsanalyse vorgestellt und wie damit Modelleinstanzen durch Merkmale beschrieben werden. Nach einem Überblick über Landschaftsaspekte und deren Einflüsse auf das Leistungsver- halten von Algorithmen, werden neue Methoden und Merkmale vorgestellt und analysiert. Aufbauend darauf werden Ideen für neue Algorithmen diskutiert. Im zweiten Teil der Arbeit wird das Algorithmus Auswahlproblem in zwei Fallstudien gelöst. Mehrere tausend Versuche wurden hierfür auf einer breiten Palette von Modellinstanzen durchgeführt. Aus dem beobachteten Konvergenz- verhalten vieler Algorithmen wird in den beiden Fallbeispielen ein klassifikati- onsbasierter Ansatz zur Lösung des Auswahlproblems evaluiert. Die Resultate aus den Versuchen werden vergleichend gegenübergestellt und Zusammenhänge mit Landschaftseigenschaften untersucht. Wir werden zeigen, dass ein kombi- nierter Ansatz in der Lage ist einzelne Algorithmen zu übertreffen. Im dritten Teil der Arbeit wird, anhand einem allgemeinen Vorgehensmo- dell, diskutiert wie sich dies auf andere Modelle und Domänen übertragen lässt. Dabei werden Entscheidungen beschrieben, die für die Überführung einer ech- ten Entscheidungssituation in ein wissenschaftliches Modell notwendig sind. Zum Schluß werden Softwaresysteme vorgestellt, die solche Entscheidungen unterstützen und die vom Autor während seines Studiums erstellt wurden. v vi Eidesstattliche Erklärung Ich erkläre an Eides statt, dass ich die vorliegende Dissertation selbstständig und ohne fremde Hilfe verfasst, andere als die angegebenen Quellen und Hilfs- mittel nicht benutzt bzw. die wörtlich oder sinngemäß entnommenen Stellen als solche kenntlich gemacht habe. Die vorliegende Dissertation ist mit dem elektronisch übermittelten Textdoku- ment identisch. Linz, Juni 2019 Andreas Beham vii viii Contents Abstract iii Kurzfassung v Eidesstattliche Erklärung vii 1 Introduction 1 1.1 Motivation and Goals ...........................................................................5 1.2 Relevant Research Projects ..................................................................8 2 Foundations 9 2.1 Assignment Problems ........................................................................ 10 2.2 Heuristic Optimization Algorithms ................................................... 17 2.3 Fitness Landscapes ............................................................................ 32 2.4 Landscape Analysis ................................................................................ 42 2.5 Performance Analysis ............................................................................. 47 2.6 Algorithm Selection ................................................................................ 52 3 Exploratory Landscape Analysis for Combinatorial Problems 55 3.1 Directed Walks ......................................................................................... 56 3.2 Landscape Characteristics from Directed Walks ................................ 71 3.3 Application of Exploratory Analysis ................................................ 78 3.4 Integration into Metaheuristic Algorithms ....................................... 89 3.5 Conclusions ............................................................................................. 91 4 Algorithm Selection Case Studies 93 4.1 Algorithm Selection for Solving Quadratic Assignment Problems 94 4.2 Algorithm Selection for Solving Generalized Quadratic Assignment Problems ...................................................................... 122 5 Decision Support Systems for Real-World Applications 157 5.1 Motivation for Decision Support .................................................... 158 5.2 Decision Support with the Research