Czech Technical University in Prague Faculty of Electrical Engineering Doctoral Thesis July 2013 Ing. et ing. Petr Buryan Czech Technical University in Prague Faculty of Electrical Engineering Department of Cybernetics Refinement Action-Based Framework For Utilization Of Softcomputing In Inductive Learning Doctoral Thesis Ing. et ing. Petr Buryan Prague, July 2013 Ph.D. Programme: Electrical Engineering and Information Technology Branch of study: Artificial Intelligence and Biocybernetics Supervisor: doc. ing. Filip Železný, PhD. Supervisor-Specialist: ing. Jiří Kubalík, PhD. Acknowledgments I gratefully acknowledge the help and support generously provided by my supervisor Filip Železný and supervisor-specialist Jiří Kubalík. Abstract In this thesis we describe a novel approach to application of Evolutionary Algorithms (EAs) into the field of Inductive Logic Programming (ILP). One of the main issues of ILP is the time complexity that comes out of the large size of ILP search space. Improving the search efficiency is therefore the main objective of this thesis. To reach this, EAs were used in this work as they have proven to be efficient solvers for many optimization problems in many applications before. The target of the thesis is to design a system that would use EAs to speed up the search process in ILP while also enabling to use full potential of ILP including the possibilities of first order logic as well as the refinement operators. In the same time we aim at developing a system that would not be too problem-specific and would be both user and implementation friendly. Unlike the traditional approaches that focus on evolving populations of logical clauses, our refinement-based approach uses the evolutionary optimization process to search for sequences of refinement actions that iteratively adapt the initial working clause so that it changes into a well classifying clause. Utilization of context-sensitive refinements (adaptations) helps the search operations to produce mostly syntactically correct concepts and enables using available background knowledge both for efficiently restricting the search space and for directing the search. To efficiently use the context information about the dataset we propose a specific structure to represent it and also an algorithm that automatically induces this structure from data prior to the start of the learning phase. The fact that the user is not required to manually define the language bias by writing down the semantic and syntactic restrictions speeds up the whole process of solving ILP tasks and gives our system the user friendliness that is needed for applying this one system to various ILP problems. In general, the EA-based ILP system presented in this work is more flexible, less problem-specific and the framework can be easily used with any stochastic search algorithm within the ILP domain. Experimental results on several data sets verify the usefulness of this approach. The benchmarking shows that our system is capable to achieve similar or even better results than other state-of-the-art ILP systems. Abstrakt V této práci se věnujeme novému přístupu využití technik Evolučních Algoritmů (EA) pro řešení problémů v rámci Induktivního Logického Programování (ILP). Jedním z hlavních problémů ILP je časová náročnost řešení úloh vyplývající ze značné rozsáhlosti prohledávaného prostoru. Zefektivnění prohledávání je tak hlavní motivací této práce. Jako prostředek byly zvoleny EA, protože se již v mnoha předešlých případech ukázaly být efektivním nástrojem pro prohledávání ve velkých stavových prostorech. Jejich použití v ILP nicméně není zcela jednoduché, zejména vzhledem k rozdílnosti ILP a úloh, pro které byly EA primárně určeny. Cílem práce je navrhnout systém, který by použil EA k urychlení řešení ILP úloh a zároveň nebyl příliš úzce zaměřený a umožnil využít všech možností ILP poskytovaných jazykem predikátové logiky prvního řádu (FOL) i refinement operátory. Současně je naší snahou vyvinout systém, který nebude příliš úzce zaměřen na úzkou skupinu dat a bude také uživatelsky i implementačně přívětivý. Na rozdíl od ostatních aplikací EA v ILP pracuje náš přístup vždy s jednou klauzulí popsanou přímo v FOL a využívá evoluční optimalizace k jejímu upravování. Pomocí EA náš algoritmus iterativně hledá takové sekvence refinement operátorů, kterými upraví pracovní klauzuli tak, aby se zlepšila její kvalita posuzovaná zejména z hlediska klasifikační přesnosti. Kromě tohoto náš přístup využívá i kontextové informace v podobě syntaktických a sémantických restrikcí lokálně omezujících použití jednotlivých refinement operátorů. Práce přímo v FOL vede k jednoduché reprezentaci problému a dovoluje jednoduše využít dostupnou doménovou znalost (background knowledge). Díky kontextu je pak systém schopen soustředit prohledávání na syntakticky správné koncepty. Pro efektivní využití kontextové znalosti při prohledávání jsme navíc v naší práci navrhli specifickou strukturu jejího uchování a algoritmus, který je schopen sestavit tuto strukturu z dostupných dat ještě před vlastním začátkem ILP hledání. Skutečnost, že syntaktická i sémantická omezení jsou automaticky indukována z dat bez nutnosti jejich manuální definice uživatelem, urychluje celý proces řešení ILP problému a zároveň poskytuje našemu systému dostatečnou flexibilitu pro použití v různých ILP úlohách. Výsledky experimentů provedených s několika ILP problémy potvrdily užitečnost tohoto přístupu a srovnání s výsledky jiných prací ukázalo, že náš algoritmus je schopen dosáhnout stejných či dokonce lepších výsledků než jiné stateoftheart algoritmy. Navržený přístup tak lze využít k efektivnímu řešení ILP úloh. Kromě toho, že je plně schopen využít možností FOL, je i univerzálnější, snadno může být použit k řešení různých ILP problémů a zároveň umožňuje jednoduše využít i jiné stochastické algoritmy než EA. Contents 1 Introduction ................................................................................................................................................. 1 1.1 Motivations and Goals ......................................................................................................................... 1 1.2 Contribution ......................................................................................................................................... 2 1.3 Outline of the Thesis ............................................................................................................................ 4 1.4 Related Work ....................................................................................................................................... 4 2 Relational Learning ..................................................................................................................................... 6 2.1 Machine Learning ................................................................................................................................ 6 2.2 Attribute-value learning ....................................................................................................................... 8 2.2.1 Propositionalization ........................................................................................................................ 8 2.3 Relational Learning ............................................................................................................................. 9 2.3.1 ILP and Graph Mining: Two Important RL Frameworks ............................................................. 11 2.3.2 Graphs and Graph Mining ............................................................................................................ 12 2.3.3 Relational Learning – Examples of Applications ......................................................................... 14 2.3.4 Reference Literature on RL .......................................................................................................... 17 2.4 Summary ............................................................................................................................................ 17 3 Inductive Logic Programming .................................................................................................................. 18 3.1 Introduction ........................................................................................................................................ 18 3.2 Basic ILP Definitions and Principles ................................................................................................. 20 3.3 Basic ILP Setting ............................................................................................................................... 21 3.3.1 Prolog Notation ............................................................................................................................. 22 3.3.2 ILP - An Example ......................................................................................................................... 22 3.4 Solving standard ILP Tasks ............................................................................................................... 23 3.4.1 Basic Search in ILP ...................................................................................................................... 24 3.5 Popular ILP Systems .......................................................................................................................... 34 3.6 ILP Systems and Stochastic Search ..................................................................................................