Symbolic Music Comparison with Tree Data Structures
Total Page:16
File Type:pdf, Size:1020Kb
Ph.D. Thesis Symbolic music comparison with tree data structures Author: Supervisor: David Rizo Valero Jos´eM. Inesta~ Quereda August 2010 The design of the cover by Henderson Bromsted is used under the permission of its owner, the Winston-Salem Symphony. Para Gloria, Pablo y Quique Agradecimientos La elaboraci´onde una tesis es un trabajo ilusionante y arduo, con momentos agradables y dif´ıciles,pero que sobre todo es extenso en el tiempo. Una tarea de estas dimensiones no puede llevarse a cabo por una sola persona aislada. Sin la gu´ıa, apoyo cient´ıfico, t´ecnico,econ´omicoy moral de todas las personas e instituciones que a continuaci´on detallo, esta tesis no habr´ıasalido adelante. Quiero dar gracias especialmente al director de esta tesis, Jos´eManuel I~nesta. El´ ha hecho posible que se estableciera y consolidara nuestro grupo de investigaci´onen inform´aticamusical, haciendo realidad mi sue~nopersonal de investigar en este campo, ha participado activamente en todos y cada uno de los trabajos de investigaci´onen los que he trabajado, ha facilitado la posibilidad de realizar las estancias de investigaci´on en el extranjero, y sobre todo, me ha hecho creer que esta tesis ten´ıasentido. La interacci´oncon los miembros del Grupo de Investigaci´ony Reconocimiento de Formas e Inteligencia Artificial del Departamento de Lenguajes y Sistemas Inform´aticos de la Universidad de Alicante ha enriquecido el contenido de esta investigaci´on. Jos´e Oncina, Mar´ıaLuisa Mic´o,Jorge Calera, Juan Ram´onRico, Rafael Carrasco y Paco Moreno han resuelto muchas de las dudas que se me han ido surgiendo durante este largo proceso. Debo agradecer el apoyo moral y mucho de lo que he aprendido a mis compa~nerosdel Laboratorio de Inform´aticaMusical: Pierre Le´on,junto a quien comenc´eesta andadura, Antonio Pertusa, Carlos P´erez-Sancho, Pl´acidoR. Illescas, Jos´e Bernabeu, Tom´asP´erez,Pedro Cruz, Tico Agoiz y Javier Sober quien ha hecho posible el corpus COVERS. A las personas que me han acogido en los centros de investigaci´onen los que he realizado estancias les quiero reconocer su trato y ayuda. A Amaury Habrard, Marc Sebban, Colin de la Higuera en la estancia en Saint-Etienne.´ A Kjell Lemstr¨omque me ayud´oa extender el sistema a polif´onicoen Helsinki. A Carlos Ag´on,Karim Haddad y Jean Bresson que me facilitaron la programaci´onpara OpenMusic en el IRCAM de Par´ıs. Durante el proceso de elaboraci´onde la tesis muchos investigadores han respondido a mis consultas y peticiones de trabajos y software: Rafael Ram´ırez, Maarten Grachten y Mohamed Sordo por el analizador de Narmour, Iman Suyoto por fanimae, a Daniel Mullensiefen por SMILE, Rainer Typke por su ayuda con los datos del MIREX, de nuevo Kjell Lemstr¨omy Niko Mikkil¨apor adaptar C-Brahms para mis necesidades, Alberto Pinto por el c´odigofuente de su sistema basado en grafos, Tao Jiang por sus consejos sobre la comparaci´onde ´arboles, Alan Marsden por aclarar ciertos aspectos sobre su sistema de an´alisisschenkeriano, Masatoshi Hamanaka por darme acceso a FATTA, su implementaci´ondel GTTM. Agradezco la disponibilidad de Mrs. E. Merritt Vale, presidenta y CEO de la Winston-Salem Symphony al permitirme usar la ilustraci´onde la portada realizado por la firma Henderson Bromsted Art. El conjunto de publicaciones que soportan este trabajo de investigaci´onha sido financiado a lo largo de los a~nospor los proyectos: v DRIMS: Descripci´ony recuperaci´onde informaci´onmusical y sonora. Ministerio • de Ciencia e Innovaci´on.TIN2009-14247-C02-02 MIPRCV: Multimodal Interaction in Pattern Recognition and Computer Vision. • Ministerio de Educaci´ony Ciencia (Consolider Ingenio 2010). CSD2007-00018 Acc. Int. E-A: Clasificaci´onde g´enerosmusicales combinando descriptores de • audio y simb´olicosmediante un sistema de transcripci´onautom´atica. Ministerio de Educaci´ony Ciencia. HU2007-0025 Pump Priming: Learning Stochastic Edit Distances from Structured Data. • Application in Music Retrieval. PASCAL Network of Excellence. Uni´onEuropea PROSEMUS: Procesamiento sem´antico de m´usicadigital. Ministerio de Educaci´on • y Ciencia. TIN2006-14932-C02-02. GV-JMI: Transferencia de tecnolog´ıasde categorizaci´onde textos a aplicaciones de • recuperaci´onde informaci´onen m´usicadigital. Generalitat Valenciana. GV04B- 541 TIRIG: Tratamiento, indexaci´on y recuperaci´on de informaci´on en grandes • vol´umenesde datos mediante t´ecnicasde reconocimiento de formas: aplicaciones en descripci´ony clasificaci´onde datos secuenciales. CICYT. 2003-08496-C04-04 Finalmente, el mayor agradecimiento va a mi familia, aquellos que no s´olose han sacrificado para que yo pueda gozar del tiempo necesario tras el trabajo y en ´epoca de vacaciones para hacer esto posible sino que tambi´enme han alentado para que llegara a buen puerto este proyecto: Gloria, mi mujer, de paciencia infinita, Pablo, que por iniciativa propia fue incluso capaz de soportar el dolor de una ca´ıdaen la escuela de verano para que yo acabara unos experimentos durante el verano pasado, Quique, que se ha tenido que conformar con jugar un poco menos con su padre para que ´estele dedicara el tiempo al ordenador, Victorino, Joaquina y Manolita, que han hecho las funciones de padre cuando he estado ausente. A todos, gracias vi Contents Contents vii List of Figures xi List of Tables xv 1 Introduction 1 2 Background 11 2.1 Monophonic music . 12 2.1.1 Pitch encodings . 13 2.1.2 Rhythm encodings . 21 2.1.3 Melodic analysis . 26 2.1.4 String representations of monophonic music . 27 2.1.5 n-grams . 36 2.1.6 Geometric modeling . 38 2.1.7 Statistical measures . 39 2.1.8 Graph representations . 40 2.1.9 Hidden Markov Models . 41 2.1.10 Neural networks . 42 2.2 Polyphonic music . 43 2.2.1 String modeling . 44 2.2.2 n-grams . 50 2.2.3 Harmonic methods . 51 2.2.4 Geometric modeling . 53 2.2.5 Network flow distance for chords . 56 2.2.6 Similarity by Kolmogorov complexity . 56 3 Music similarity with trees 59 3.1 Previous uses of trees in computer music . 59 3.2 Monophonic music tree representation . 73 3.2.1 Examples of tree construction for different meters . 77 3.3 Metrical tree construction algorithms . 77 3.3.1 Definition and notations . 80 3.3.2 Construction of monophonic metrical trees . 82 3.4 Propagation . 86 3.4.1 Heuristic propagation scheme . 86 3.4.2 Melodic-analysis propagation scheme . 94 3.4.3 Left and right propagations . 95 3.5 Comparison of trees . 95 3.5.1 Tree mapping . 98 3.5.2 Tree Edit Distance . 99 vii CONTENTS 3.5.3 Tree Alignment Distance . 104 3.5.4 1-degree tree edit distance . 106 3.5.5 Bottom-up distance . 107 3.5.6 Partially labelled tree comparison . 109 3.6 Tree edit operations in metric trees . 112 3.7 Tree representation of polyphonic music . 113 3.7.1 Bottom-up propagation of labels . 114 3.7.2 Multiset labels . 114 3.7.3 Polyphonic trees comparison . 118 4 Experiments 119 4.1 Music classification . 119 4.2 Evaluation metrics . 120 4.3 Corpora . 122 4.4 Method parameters and configurations . 124 4.5 Best result for each corpus . 127 4.6 Experiment setup and results . 128 4.6.1 Method setups selection . 130 4.6.2 Application to realistic scenarios . 135 4.6.3 Best setup selection . 141 4.6.4 Tree construction and comparison parameters analysis . 145 5 Conclusions, contributions, and future work 151 A Multiset distances 159 B Algorithms 163 B.1 Complete fillTree algorithm . 163 B.2 Complexity of the partially labeled tree comparison algorithm . 165 B.3 Algorithm for the partially labeled tree comparison algorithm . 168 C Corpora 169 C.1 104 (monophonic) . 169 C.2 VARM (monophonic) . 169 C.3 Pascal (monophonic) . 170 C.4 ICPS (polyphonic) . 171 C.5 VARP (polyphonic) . 171 C.6 INET (polyphonic) . 171 C.7 COVERS (polyphonic) . 172 D Examples of trees 173 D.1 Examples of tree construction for different meters . 173 viii CONTENTS E Experiment results 183 E.1 Setup selection results for monophonic methods . 183 E.2 Setup selection results for polyphonic methods . 188 E.3 Monophonic COVERS results . 190 E.4 Polyphonic COVERS results . 193 E.5 MIREX results . 195 E.6 Global monophonic results . 197 E.7 Global polyphonic results . 201 F Resumen en castellano 203 Bibliography 217 Glossary 241 Acronyms 243 Index 245 ix List of Figures 1.1 Juego de versos para Psalmodia de tono 3o, 5 Vs, by Juan Bautista Cabanilles (1644-1712), in common music notation . 4 1.2 Raw audio corresponding to score in Fig. 1.1 ................ 5 1.3 Piano roll extracted corresponding to score in Fig. 1.1 ........... 5 1.4 Text dump of a MIDI file corresponding to score in Fig. 1.1 ........ 6 1.5 Monophonic melody. Beginning of Mozart's k331 Theme, Var VI . 7 1.6 Homophonic excerpt . 7 1.7 Manual transcriptions of excerpts of the two songs Les Feuilles Mortes (autumn leaves) and La Maritza. 7 1.8 Excerpt of the Beethoven's Symphony No. 5 - Opus 67 ( 1st Movement ). 8 1.9 Sample variation excerpts, from the Mozart `Twinkle, Twinkle, Little Star' composition. 10 2.1 First bar of \Rumores de la Caleta" from Isaac Albeniz (left), op. 71, and a transposition (right). 12 2.2 Different figurations for the bars 3 and 4 of the Manuel de Falla's \Sombrero de tres picos: danza de los vecinos". 13 2.3 Different pitch encodings for the first bar of \Rumores de la Caleta" and its transposition. 14 2.4 Base-7 representation of pitch. 15 2.5 Base-12 representation of pitch .