Faculty of Mathematics, Informatics, and Mechanics Radhwan Yousif Sedik Al-Jawadi New Evolutionary Optimization Algorithms Using Similarities and Dissimilarities in Binary Strings PhD dissertation Supervisor: Prof. Dr. hab. Marcin Studniarski Faculty of Mathematics and Computer Science. University of Lodz Warsaw 2018 Author’s declaration: I hereby declare that this dissertation is my own work. September 11, 2018 ………………………………………….. Radhwan Al-Jawadi Supervisor’s declaration: The dissertation is ready to be reviewed September 11, 2018 ………………………………………….. Prof. Dr. hab. Marcin Studniarski 2 Keywords: Genetic algorithm, similarity of chromosomes, dissimilarity of chromosomes, chromosome injection, dynamic schema, free dynamic schema, dynamic dissimilarity, evolutionary algorithms, initial population, schema analysis, convergence of DSC algorithm. ACM classification 2012 1- Computing methodologies - Machine learning - Machine learning approaches - Bio- inspired approaches - Genetic algorithms. 2- Computing methodologies - Artificial intelligence - Search methodologies - Discrete space search. Abstract In this work, six evolutionary algorithms are constructed and programmed by using Graphic User Interface (GUI) in Matlab. They are designed to search for a global optimum of a numerical function. These algorithms are based on exploring similarities and dissimilarities between solutions (chromosomes represented as binary strings) in order to find solutions which are close to an optimal one. Then a special way to discover a schema of a binary string, called free schema, is introduced. The effect of a big initial population is studied in the last algorithm. To prove the efficiency of these algorithms, twenty seven test functions were used. We used eighteen functions of two variables, one function of four variables, five functions of ten and 100 variables, and five shifted and rotated functions (2, 3-dimentions). The results showed, in most cases, the superiority of the algorithms proposed in this thesis over the Classical Genetic Algorithm (CGA) and some other algorithms like the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) and Differential Evolution (DE). This thesis contains eight chapters. Chapter one is a general introduction to optimization, then a literature review is presented in the second chapter. In the third chapter, an algorithm called Dissimilarity and Similarity of Chromosomes (DSC) is described, which has proved successful in comparison with the CGA. In this algorithm, two genetic operators are used: the dissimilarity operator and the similarity operator, and also random generation of a part of each new population. The DSC succeeded in finding optimum solutions for some functions for which i the CGA failed. The fourth chapter introduces a new algorithm that includes two new operators: the dynamic dissimilarity operator and the dynamic schema operator, this algorithm is called DSDSC. The fifth chapter contains descriptions of three new algorithms in which a double population is applied with various genetic processes, including free dynamic schema, these algorithms are named DDS, FDS, and MFDS. In the sixth chapter, the last algorithm, which includes the effect of a big initial population on the MFDS, is constructed, this algorithm is called IPMFDS. Chapter seven contains the comparison of all our methods with CMA-ES, DE and GA; also in addition a case study of the knapsack problem is given here. Finally, chapter eight contains some conclusions of this work. The proof of convergence is provided only for the DSC algorithm, but it can be easily modified so as to work for all subsequent algorithms. It is suitable for any search that contains random generation of a part of population. Streszczenie W niniejszej pracy skonstruowano i zaprogramowano sześć algorytmów ewolucyjnych za pomocą graficznego interfejsu użytkownika (GUI) w programie Matlab. Zostały one zaprojektowane w celu poszukiwania globalnego optimum funkcji numerycznej. Algorytmy te opierają się na badaniu podobieństw i różnic między rozwiązaniami (chromosomy reprezentowane jako łańcuchy binarne) w celu znalezienia rozwiązań bliskich optymalnym. Następnie wprowadzono specjalny sposób wykrywania schematu ciągu binarnego, zwanego wolnym schematem. Wpływ dużej populacji początkowej badany jest w ostatnim algorytmie. Aby udowodnić skuteczność tych algorytmów, zastosowano 27 funkcji testowych. Zastosowaliśmy 18 funkcji dwóch zmiennych, jedną funkcję czterech zmiennych, 5 funkcji 10 i 100 zmiennych, a także 5 funkcji przesuniętych i obróconych (2 i 3 zmienne). Wyniki pokazały, w większości przypadków, wyższość algorytmów zaproponowanych w tej pracy w stosunku do klasycznego algorytmu genetycznego (CGA) i niektórych innych algorytmów, takich jak strategia adaptacji macierzy kowariancji (CMA-ES) ewolucja różnicowa (DE). Niniejsza rozprawa zawiera osiem rozdziałów. Rozdział pierwszy jest ogólnym wprowadzeniem do optymalizacji, a następnie przegląd literatury został przedstawiony w drugim rozdziale. W rozdziale trzecim opisano algorytm o nazwie Różnice i Podobieństwa ii Chromosomów (DSC), który okazał się skuteczny w porównaniu z CGA. W tym algorytmie używa się dwóch operatorów genetycznych: operatora odmienności i operatora podobieństwa, a także losowego generowania części każdej nowej populacji. DSC odnalazł optymalne rozwiązania dla niektórych funkcji, dla których CGA zawodził. Czwarty rozdział wprowadza nowy algorytm, który zawiera dwa nowe operatory: dynamiczny operator odmienności i operator dynamicznego schematu, który to algorytm nazywa się DSDSC. Piąty rozdział zawiera opisy trzech nowych algorytmów, w których podwójna populacja jest stosowana z różnymi procesami genetycznymi, w tym wolnym schematem dynamicznym, algorytmy te nazywają się DDS, FDS i MFDS. W rozdziale szóstym skonstruowany jest ostatni algorytm, który obejmuje efekt dużej populacji początkowej na MFDS, ten algorytm nazywa się IPMFDS. Rozdział siódmy zawiera porównanie wszystkich naszych metod z CMA-ES, DE i GA; dodatkowo przedstawiono tutaj stadium przypadku dla problemu plecakowego. Wreszcie rozdział siódmy zawiera pewne wnioski z tej pracy. Dowód zbieżności jest podany tylko dla algorytmu DSC, ale można go łatwo zmodyfikować, aby działał dla wszystkich kolejnych algorytmów. Jest odpowiedni dla każdego wyszukiwania, które zawiera losowe generowanie części populacji. iii ACKNOWLEDGEMENTS First of all, I am grateful to my country, Iraq, especially the Ministry of Higher Education and Scientific Research (MOHESR) and the Engineering Technical College in Mosul for giving me this opportunity to study abroad. Also, I appreciate The Republic of Poland and all staff of the Warsaw University and the University of Lodz, especially my supervisor Prof. Dr. hab. Marcin Studniarski for his valuable insights and wise guidance during the study period, because he showed me valuable guidance in writing the doctoral dissertation and published papers. I would like to thank my wife Aisha Azeez Younus for her support during the PhD study, as well as also my thanks to my children for their patience with me and their patience of difficulties of alienation. Eventually, my sincere gratitude goes to my beloved parents (God's mercy on them), my sister and my brothers, for their patience and encouragement throughout the study period. I want to thank all those who helped me out even by a word. I would like to thank all my friends here in Poland and in Iraq. Radhwan Al-Jawadi iv Abbreviations: ABC Artificial Bee Colony ACO Ant Colony Optimization AES Average number of Evaluations to a Solution AI Artificial Intelligence AIA Artificial Immune Algorithms BA Bee Algorithm BBO Biogeography Based Optimization BOA Bayesian Optimization Algorithm CGA Classical Genetic Algorithm CMA-ES Covariance Matrix Adaptation Evolution Strategy DDS Double Dynamic Schema DE Differential Evolution DSC Dissimilarity and Similarity of Chromosomes DSDSC Dynamic Schema with Dissimilarity and Similarity of Chromosomes EAs Evolutionary Algorithms EMO Evolutionary Multi-objective Optimization EO Evolutionary Optimization ESSE Extended Stochastic Schemata Exploiter FDS Free Dynamic Schema fGA forking Genetic Algorithm FSS Faure sequence sampling GA Genetic Algorithm GS Gravitational Search GUI Graphical User Interface HBABC Hybrid Particle swarm based Artificial Bee Colony HGA Homogeneous Genetic Algorithm HSS Hamersley sequence sampling v IPMFDS Initial Population with Multi Free Dynamic Schema IRPEO Improved Real-Coded Population-Based Extreme Optimization LHS Latin hypercube sampling MBF Mean Best Fitness Measure MFDS Multi Free Dynamic Schema MGG Minimum Generation Gap NHGA Non-Homogeneous Genetic Algorithm NPs Nested Partitions NTVPSO Nonlinear Time-Varying Particle Swarm Optimization PSO Particle Swarm Optimization RBSADE Ranking Based Self-Adaptive Differential Evolution RHS Random Heuristic Search SC Soft-Computing SDVRP Split Delivery Vehicle Routing Problem SGA Simple Genetic Algorithm SOO Single Objective Optimization SSE Stochastic Schemata Exploiter TSP Traveling Salesman Problem vi Contents ACM classification 2012 ....................................................................................... i Abstract ................................................................................................................. i Streszczenie........................................................................................................... ii ACKNOWLEDGEMENTS ...............................................................................