Universitat Autònoma de Barcelona Theory and Algorithms on the Median Graph. Application to Graph-based Classification and Clustering A dissertation submitted by Miquel Ferrer Sumsi at Universitat Aut`onomade Barcelona to fulfil the degree of Doctor en Inform`atica. Bellaterra, June 2008 Director: Dr. Ernest Valveny Llobet Universitat Aut`onomade Barcelona Dep. Ci`encies de la Computaci´o& Centre de Visi´oper Computador Co-director: Dr. Francesc Serratosa Casanelles Universitat Rovira i Virgili Dep. Inform`aticai Matem`atiques Centre de Visió per Computador This document was typeset by the author using LATEX 2". The research described in this book was carried out at the Computer Vision Center, Universitat Aut`onomade Barcelona. Copyright c 2008 by Miquel Ferrer Sumsi. All rights reserved. No part of this publi- cation may be reproduced or transmitted in any form or by any means, electronic or mechanical, including photocopy, recording, or any information storage and retrieval system, without permission in writing from the author. ISBN: 978{84{935251{7{0 Printed by Ediciones Gr´aficasRey, S.L. This thesis is dedicated to my wife and my future child Agra¨ıments Considero plausible el fet que l'elaboraci´od'una tesi doctoral ´esun cam´ıque cada persona el viu a la seva manera, des de les seves pr`opiescircumst`ancies.Aix´ıdoncs, jo tamb´el'he viscuda des d'una `opticamolt personal. Darrere d'aquest treball hi ha no nom´esmoltes hores d’esfor¸cdavant de llibres, articles, l'ordinador, etc. Hi ha tamb´euna petita hist`oriapersonal que fa m´es de 15 anys que va comen¸car,fins i tot, molt temps abans que ni jo mateix sab´esque algun dia trepitjaria la universitat. En els fulls que segueixen no la hi podreu trobar aquesta hist`oria,almenys d'una forma expl´ıcita(aix`oho haurem de deixar per un altre moment), per`ohi ´es.Probablement tot el que segueix ara no s'hagu´esescrit si la meva hist`oriapersonal hagu´esestat una altra. Tanmateix, tot aquest treball no hagu´esestat possible sense l'ajut de molta gent que durant aquests darrers anys han estat, d'una manera o d'una altra, sempre al meu costat. A totes elles el meu m´essincer agra¨ıment. En primer lloc vull donar les gr`aciesals meus directors de tesi, l'Ernest Valveny i el Francesc Serratosa. He de dir sobre ells que la seva incondicional confian¸caen la meva persona i la seva gran paci`enciai professionalitat, han estat del tot claus per tirar endavant aquesta empresa. Sense la seva inestimable ajuda, de ben segur que tot el que segueix no s'hagu´esescrit mai. Moltes gr`aciesa tots dos. Vull agra¨ır tamb´eal CVC i a tota la seva gent els bons moments que m'heu donat durant aquests darrers tres anys. Sense vosaltres, hagu´esestat tot molt m´es complicat. Especialment vull agra¨ıra la gent del DAG: el Josep Llad´os,la Gemma, l'Al´ıcia,el Mar¸cal,l'Agn`es,el Joan, el Josep R., en Partha i l'Oriol, per la confian¸ca i col·laboraci´orebudes durant aquest treball. A tots vosaltres, gr`acies. Vull agra¨ır tamb´eels bons moments que m'han donat la gent del despatx: la Debora, l'Aura, el Jaume, el David i el Fernando. Gr`aciespels vostres consells, han estat de gran ajuda per caminar per aquest sender que ´esla tesi. Voldria agra¨ırtamb´eal Departament de Ci`enciesde la Computaci´oi a tot el seu personal, amb el Xavi Roca al capdavant, l'inestimable suport que m'han donat sempre. Finalment, ha estat per a mi una extraodin`ariaexperi`enciapoder treballar amb la gent de Su¨ıssa,sota la direcci´odel Prof. Dr. Horst Bunke, i comptar amb la gran ajuda d'en Kaspar Riesen i compartir bons moments amb el Roman Bertolami, l'Andreas Schlapbach, el Vivian Kilchherr, el Marcus Liwicki i la Susanne Th¨uler. Vull donar tamb´eles gr`aciesa la meva fam´ılia. Als meus pares (Pere i Montse) i tamb´eals meus tres germans (Toni, Pol i Albert). Sempre us he tingut al meu costat, en els bons moments i tamb´een els ... no tan bons. La const`ancia,les ganes de i ii AGRA¨IMENTS treballar i l'afany de superaci´ous les dec a vosaltres. Gr`aciesde tot cor. Finalment, m'agradaria dedicar aquest treball a dues persones molt especials per a mi. La primera ´esla Mireia. La Mireia, que amb la for¸cai la tenacitat que carac- teritzen a la gent de muntanya i l'alegria i bon fer de la gent del vi, m'ha donat les suficients forces durant tots aquests anys que fa que estem junts per arribar on s´oc ara. No canv¨ıismai. La segona el fill o filla que estem esperant. Encara no et conec, per`oja em tens el cor robat. Per tu el cam´ıcomen¸car`aen breu, per nosaltres dos continuar`a,ara al teu costat. Segur que ser`auna experi`enciaextraordin`aria. I qui sap fill meu, potser algun dia la teva hist`oriapersonal et portar`aa escriure l´ıniescom aquestes. Terrassa, 7 d'abril de 2008. Resum Donat un conjunt d'objectes, el concepte gen`ericde mediana est`adefinit com l'objecte amb la suma de dist`anciesa tot el conjunt, m´espetita. Sovint, aquest concepte ´es usat per a obtenir el representant del conjunt. En el reconeixement estructural de patrons, els grafs han estat usats normalment per a representar objectes complexos. En el domini dels grafs, el concepte de mediana ´esconegut com median graph. Potencialment, t´eles mateixes aplicacions que el concepte de mediana per poder ser usat com a representant d'un conjunt de grafs. Tot i la seva simple definici´oi les potencials aplicacions, s'ha demostrat que el seu c`alcul´esuna tasca extremadament complexa. Tots els algorismes existents nom´eshan estat capa¸cosde treballar amb conjunts petits de grafs, i per tant, la seva aplicaci´o ha estat limitada en molts casos a usar dades sint`etiques sense significat real. Aix´ı, tot i el seu potencial, ha restat com un concepte eminentment te`oric. L'objectiu principal d'aquesta tesi doctoral ´esel d'investigar a fons la teoria i l'algor´ısmica relacionada amb el concepte de median graph, amb l'objectiu final d'extendre la seva aplicabilitat i lliurar tot el seu potencial al m´onde les aplicacions reals. Per aix`o,presentem nous resultats te`oricsi tamb´enous algorismes per al seu c`alcul. Des d'un punt de vista te`oricaquesta tesi fa dues aportacions fonamentals. Per una banda, s'introdueix el nou concepte d'spectral median graph. Per altra banda es mostra que certes de les propietats te`oriquesdel median graph poden ser millorades sota determinades condicions. M´esenll`ade les aportacioncs te`oriques,proposem cinc noves alternatives per al seu c`alcul. La primera d'elles ´esuna conseq¨u`enciadirecta del concepte d'spectral median graph. Despr´es,basats en les millores de les propi- etats te`oriques,presentem dues alternatives m´esper a la seva obtenci´o. Finalment, s'introdueix una nova t`ecnicaper al c`alculdel median basat en el mapeig de grafs en espais de vectors, i es proposen dos nous algorismes m´es. L'avaluaci´oexperimental dels m`etodes proposats utilitzant una base de dades semi-artificial (s´ımbols gr`afics)i dues amb dades reals (mol·l`eculesi p`aginesweb), mostra que aquests m`etodes s´onmolt m´eseficients que els existents. A m´es,per primera vegada, hem demostrat que el median graph pot ser un bon representant d'un conjunt d'objectes utilitzant grans quantitats de dades. Hem dut a terme experiments de classificaci´oi clustering que validen aquesta hip`otesii permeten preveure una pr`ospera aplicaci´odel median graph a un bon nombre d'algorismes d'aprenentatge. iii iv RESUM Abstract Given a set of objects, the generic concept of median is defined as the object with the smallest sum of distances to all the objects in the set. It has been often used as a good alternative to obtain a representative of the set. In structural pattern recognition, graphs are normally used to represent structured objects. In the graph domain, the concept analogous to the median is known as the median graph. By extension, it has the same potential applications as the generic median in order to be used as the representative of a set of graphs. Despite its simple definition and potential applications, its computation has been shown as an extremely complex task. All the existing algorithms can only deal with small sets of graphs, and its application has been constrained in most cases to the use of synthetic data with no real meaning. Thus, it has mainly remained in the box of the theoretical concepts. The main objective of this work is to further investigate both the theory and the algorithmic underlying the concept of the median graph with the final objective to extend its applicability and bring all its potential to the world of real applications. To this end, new theory and new algorithms for its computation are reported. From a theoretical point of view, this thesis makes two main contributions. On one hand, the new concept of spectral median graph. On the other hand, we show that some of the existing theoretical properties of the median graph can be improved under some specific conditions. In addition to these theoretical contributions, we propose five new ways to compute the median graph. One of them is a direct consequence of the spectral median graph concept.