PhD-FSTC-2011-17 Faculté des Sciences, de la Technologie et de Faculté des Sciences et Technologies de Lille la Communication THÈSE Soutenue le 20/10/2011 à Luxembourg En vue de l’obtention du grade académique de DOCTEUR DE L’UNIVERSITÉ DU LUXEMBOURG EN INFORMATIQUE ET DOCTEUR DE L’UNIVERSITÉ LILLE1 EN INFORMATIQUE par Malika Mehdi née le 10 septembre 1981 à Bejaia PARALLEL HYBRID OPTIMIZATION METHODS FOR PERMUTATION BASED PROBLEMS Jury de thèse Prof. Dr. Pascal Bouvry, directeur de thèse Professeur, Université du Luxembourg Prof. Dr. El-Ghazali Talbi, directeur de thèse Professeur, Université Lille1 Prof. Dr. Nouredine Melab, co-directeur de thèse Professeur, Université Lille1 Prof. Dr. Raymond Bisdorff, président Professeur, Université du Luxembourg Prof. Dr. Enrique Alba, membre Professeur, Université de Malaga Dr. Didier El-Baz, membre HDR, LAAS-CNRS, Toulouse Abstract Solving efficiently large benchmarks of NP-hard permutation-based problems re- quires the development of hybrid methods combining different classes of optimiza- tion methods. Indeed, it is now acknowledged that such methods perform better than traditional optimization methods when used separately. The key challenge is how to find connections between the divergent search strategies used in each class of methods in order to build efficient hybridization strategies. Genetic algorithms (GAs) are very popular population-based metaheuristics based on stochastic evo- lutionary operators. The hybridization of GAs with tree-based exact methods such as Branch-and-Bound is a promising research trend. B&B algorithms are based on an implicit enumeration of the solution space represented as a tree. Our hybridization approach consists in providing a common solution and search space coding and associated search operators enabling an efficient cooperation between the two methods. The tree-based representation of the solution space is traditionally used in B&B algorithms to enumerate the solutions of the problem at hand. In this thesis, this special representation is adapted to metaheuristics. The encoding of permuta- tions as natural numbers, which refer to their lexicographic enumeration in the tree, is proposed as a new way to represent the solution space of permutation problems in metaheuristics. This encoding approach is based on the mathemat- ical properties of permutations (Lehmer codes, inversion tables, etc.). Mapping functions between the two representations (permutations and numbers) and spe- cial search operators adapted to the encoding are defined for general permutation problems, with respect to the theory of representation. This common representa- tion allows the design of efficient cooperation strategies between GAs and B&B algorithms. In this thesis, two hybridization schemes combining GAs with B&B based on this common representation are proposed. The two hybridization ap- proaches HGABB/HAGABB (Hybrid Adaptive GA-B&B) and COBBIGA (coop- erative B&B interval-based GA), have been validated on standard benchmarks of one of the hardest permutation-based problems, the three dimensional quadratic assignment problem (Q3AP). In order to solve large benchmarks of permutation- based problems, a parallelization for computational grids is also proposed for the two hybrid schemes. This parallelization is based on space decomposition techniques (the decomposition by intervals) used in parallel B&B algorithms. From the implementation point of view, in order to facilitate further design and implementation of hybrid methods combining metaheuristics with tree-based ex- act methods, a hybridization C++ framework integrated to the framework for metaheuristics ParadisEO is developed. The new framework is used to conduct extensive experiments over the computational grid Grid’5000. Resum´e La r´esolution efficace de probl`emes d’optimisation `apermutation de grande taille n´ecessite le d´eveloppement de m´ethodes hybrides complexes combinant diff´erentes classes d’algorithmes d’optimisation. L’hybridation des metaheuristiques avec les m´ethodes exactes arborescentes, tel que l’algorithme du branch-and-bound (B&B), engendre une nouvelle classe d’algorithmes plus efficace que ces deux classes de m´ethodes utilis´ees s´epar´ement. Le d´efi principal dans le d´eveloppement de telles m´ethodes consiste `atrouver des liens ou connections entre les strat´egies de recherches divergentes utilis´es dans les deux classes de m´ethodes. Les Algorithmes G´en´etiques (AGs) sont des metaheuristiques, `abase de population, tr`es populaires bas´es sur des op´erateurs stochastiques inspir´es de la th´eorie de l’´evolution. Con- trairement aux AGs et aux m´etaheuristiques g´en´eralement, les algorithmes de B&B sont bas´es sur l’´enum´eration implicite de l’espace de recherche repr´esent´e par le moyen d’un arbre, dit arbre de recherche. Notre approche d’hybridation consiste `ad´efinir un codage commun des solutions et de l’espace de recherche ainsi que des op´erateurs de recherche ad´equats afin de permettre un couplage efficace de bas niveau entre les deux classes de m´ethodes AGs et B&B. La repr´esentation de l’espace de recherche par le moyen d’arbres est traditionnelle- ment utilis´ee dans les algorithmes de B&B. Dans cette th`ese, cette repr´esentation a ´et´eadapt´ee aux metaheuristiques. L’encodage des permutations au moyen de nombres naturels faisant r´ef´erence `al’ordre d’´enum´eration lexicographique des permutations dans l’arbre du B&B, est propos´ecomme une nouvelle mani`ere de repr´esenter l’espace de recherche des probl`emes `apermutations dans les meta- heuristiques. Cette m´ethode de codage est bas´ee sur les propri´et´es math´ematiques des permutations, `asavoir les codes de Lehmer et les tables d’inversions ainsi que les syst`eme d’´enum´eration factoriels. Des fonctions de transformation permettant le passage entre les deux repr´esentations (permutations et nombres) ainsi que des op´erateurs de recherche adapt´es au codage, sont d´efinis pour les probl`emes `apermutations g´en´eralis´es. Cette repr´esentation, d´esormais commune aux meta- heuristiques et aux algorithmes de B&B, nous a permis de concevoir des strat´egies d’hybridation et de collaboration efficaces entre les AGs et le B&B. En effet, deux approches d’hybridation entre les AGs et les algorithmes de B&B (HGABB et COBBIGA) bas´es sur cette repr´esentation commune ont ´et´epropos´ees dans cette th`ese. Pour validation, une impl´ementation a ´et´e r´ealis´ee pour le probl`eme d’affectation quadratique `atrois dimension (Q3AP). Afin de r´esoudre de larges instances de ce probl`eme, nous avons aussi propos´eune parallelisation pour les deux algorithme hybrides, bas´ee sur des techniques de d´ecomposition d’espace (d´ecomposition par intervalle) utilis´ees auparavant pour la parallelisation des al- gorithmes de B&B. Du point de vue impl´ementation, afin de faciliter de futurs conceptions et impl´ementations de m´ethodes hybrides combinant metaheuris- tiques et m´ethodes exacte arborescentes, nous avons d´evelopp´eune plateforme d’hybridation int´egr´ee au logiciel pour metaheuristiques, ParadisEO. La nouvelle plateforme a ´et´eutilis´ee pour r´ealiser des exp´erimentations intensives sur la grille de calcul Grid’5000. To my parents To my brothers To my husband Ahmed Acknowledgements Durant ces quatre ann´ees de th`ese, j’ai b´en´efici´ede l’encadrement, support et encouragement de nombreuses personnes en Alg´erie, `aLille et `aLuxembourg que j’aimerais remercier dans ces lignes. Je commence par exprimer ma grande gratitude `ames trois co-directeurs de th`ese Pascal Bouvry, El-Ghazali Talbi et Nouredine Melab, c’est grˆace `avotre exp´erience et vos encouragements que j’ai pu mener mes travaux de recherche dans le bon sens malgr´e les moments de doute. J’ai appris ´enorm´ement de choses avec chacun de vous durant ces quatre ann´ees tant sur le plan professionnel que personnel. C’´etait un plaisir de travailler avec vous. Je tiens aussi `aremercier Raymond Bisdorff en tant que pr´esident de jury et surtout en tant que membre du comit´ed’encadrement de ma th`ese avec qui j’ai eu l’occasion de travailler durant les r´eunions annuelles du comit´ede th`ese. J’aimerais aussi remercier Enrique Alba et Didier El-Baz pour avoir accept´ede reviewer ce travail et d’y consacrer un peu de leur temps ainsi que pour leurs nombreuses remarques fructueuses sur la fa¸con d’am´eliorer le manuscrit de th`ese. Durant cette th`ese j’ai aussi eu l’occasion de travailler avec Bertrand Le Cun, Fran¸cois Galea et Van dat Cung (Universit´ede Versailles) que j’aimerais re- mercier ici de m’avoir fourni le logiciel BOB++. Dans le mˆeme cadre, je remercie ´egalement Mohand Mezmaz et Jean-Claude Charr avec qui j’ai travaill´esur la parall´elisation des approches hybrides pour le Q3AP. Ces collaborations m’ont permis d’avancer dans mes recherches. Sur un autre plan, j’aimerais remercier tout les membres de l’´equipe `aLuxem- bourg et `aLille. Merci beaucoup Julien, Emilia, Alexadru, Gregoire, Cesar, Jakub, Johnathan, Patricia, Bernab´e, See, Thomas, Benoit, Sebastien, Mar¸cin, Guillaume, Frederic, Agata et tout les nouveaux membres. Merci `achacun d’entre vous pour votre support chacun `asa mani`ere: Discussions et ´echanges sur les algorithmes r´evolutionnaires, les permutations et autres sujets (notamment avec Gregoire, Emilia, Alexandru, Johnathan, et Sebastien), tourn´ees de Billard `ala ”caffette”, ´eviter de me poser la question qui fˆache trop souvent :), des mots d’encouragement durant la p´eriode de r´edaction, etc. Enfin, je tiens `aremercier tout particuli`erement ma coll`egue de bureau Emilia, merci beaucoup pour ta gentillesse et ton aide mˆeme apr`es mon d´epart de Luxembourg. A Lille ´egalement, j’aimerais remercier tout les membres de l’´equipe DOLPHIN; les permanents d’ˆetre toujours disponibles pour ´echanger quelques discussions, et les doctorants pour l’ambiance fraternelle qui y r`egne.