Connecting Time and Timbre Computational Methods for Generative Rhythmic Loops Insymbolic and Signal Domainspdfauthor
Total Page:16
File Type:pdf, Size:1020Kb
Connecting Time and Timbre: Computational Methods for Generative Rhythmic Loops in Symbolic and Signal Domains Cárthach Ó Nuanáin TESI DOCTORAL UPF / 2017 Thesis Director: Dr. Sergi Jordà Music Technology Group Dept. of Information and Communication Technologies Universitat Pompeu Fabra, Barcelona, Spain Dissertation submitted to the Department of Information and Communication Tech- nologies of Universitat Pompeu Fabra in partial fulfillment of the requirements for the degree of DOCTOR PER LA UNIVERSITAT POMPEU FABRA Copyright c 2017 by Cárthach Ó Nuanáin Licensed under Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 Music Technology Group (http://mtg.upf.edu), Department of Information and Communication Tech- nologies (http://www.upf.edu/dtic), Universitat Pompeu Fabra (http://www.upf.edu), Barcelona, Spain. III Do mo mháthair, Marian. V This thesis was conducted carried out at the Music Technology Group (MTG) of Universitat Pompeu Fabra in Barcelona, Spain, from Oct. 2013 to Nov. 2017. It was supervised by Dr. Sergi Jordà and Mr. Perfecto Herrera. Work in several parts of this thesis was carried out in collaboration with the GiantSteps team at the Music Technology Group in UPF as well as other members of the project consortium. Our work has been gratefully supported by the Department of Information and Com- munication Technologies (DTIC) PhD fellowship (2013-17), Universitat Pompeu Fabra, and the European Research Council under the European Union’s Seventh Framework Program, as part of the GiantSteps project ((FP7-ICT-2013-10 Grant agreement no. 610591). Acknowledgments First and foremost I wish to thank my advisors and mentors Sergi Jordà and Perfecto Herrera. Thanks to Sergi for meeting me in Belfast many moons ago and bringing me to Barcelona. I thank him for his constant commitment, dedication and above all, inspiration. I am equally thankful to Perfecto Herrera for his vast knowledge, infinite patience and unwavering support. To the most gigantic steppers of them all, the musketeers: Ángel, Dani and Martin, one for all and all for one. Thanks to Xavier, Cristina, Sonia, Lydia and the rest of UPF for making it a great environment for this lowly scholar. Shout out to all the MTG gang: Juanjo (particularly for the translations, squawk), Marius (expert courier), Alastair, Sergio, Frederick, Dimi, Oriol, Moha, Rafa, Sebas, Carles, Georgi. Dara, Gerard, Álvaro, Pano, Giuseppe, Martí etc. I am missing others I know but know that it is not intentional. Cheers to the Barcelona Laptop Orchestra for their collaboration. Thanks to the Barcelona crew for keeping me (in)sane these past years, and the Boni- tos for keeping the mandolin strings from rusting. Thanks to my Cork-based friends and my Dublin-based friends. I am indebted to Peter for reviewing some drafts. Faoi dheireadh caithfidh me an buíochas is mó a thabhairt do mo chlann (agus Julie), as ucht an grá agus an tachaíocht a thug sibh dom i rith an bhliain dorcha, deachair seo a bhí againn go léir. Go raibh maith agat James & Batchimeg, Colm & Melanie ’gus fáilte go dtí an domhan Marló beagaín! Míle buíochas freisin go dtí muintir McCarthy agus Ó Nuanáin. Go raibh maith agat a thuismitheoirí, ar dtús báire as ucht thabhairt dom an cheoil, mar ní bheadh mé abálta é seo a dhéanamh gan é. Go raibh maith agat, Joe as gach rud, ach go háirithe an cabhair, an bia, na deochanna, agus an Béarla! Agus le sin, go raibh míle maith agat Marian, tá brón orm níl tú in ann seo a léamh a chroí. VII Abstract The practice of music composition often stems from a small idea or motif that blos- soms into a complete work through careful application of repetition, variation and a dash of inspiration. In the highly rhythmic and repetitive strain of music that is electronic dance, this motif is the fundamental building block known as the loop, and is accorded greater importance than any other style. While other genres can depend upon long-established rules governing things like harmonic structure and form, many dance tracks do not stray far from its fundamental central theme in the traditional sense. Rather, the craft of this unique music is revealed through complex, layering arrangements of timbre and intensity arising from the liberal application of rhythmic activity and sonic effects. This dissertation explores computational methods for generating and varying that rhythmic activity that is so pivotal in composing effective loops. We begin the journey in the symbolic domain, and draw upon a wealth of historical methods for algorithmic composition coupled with the state of the art in rhythmic similarity perception to build GenDrum, an intelligent drum machine using genetic algorithms. Our listener survey reveals the validity of the approach, but we question the general adroitness of purely symbolic means in capturing the acute essence of timbre. Modern approaches to composing electronic music are distinguished by the liberal use of sampling and appropriation of existing sounds as well as the design of purely synthesised new sounds. Concatenative synthesis applies high-level rules and criteria that seek to combine phrases of sounds together in a more intelligent and systematic manner. It is a content-based approach that uses music information retrieval research to work directly with audio and its latent encoding of multidimensional spectral and timbral character. In the second contribution of the thesis we examine the relevance and application of concatenative synthesis in the specific context of electronic dance music production. We present a comprehensive review of key works in the area of concatenative syn- thesis and summarise the algorithmic underpinnings that tend to drive these systems. PyConcat, a research oriented synthesis framework, is offered to encapsulate many of the key approaches along with some novel improvements to the field and state of the art in the area of timbral feature choice as well as unit selection with Hidden Markov Models. But, above all, the concern remains with the implications of designing concatenative systems that consider the needs of the user and the place of such systems in their existing composition and production workflows. The final contribution of the thesis delivers RhythmCAT, a visually appealing virtual instrument plugin with a unique in- IX X ABSTRACT teraction metaphor for exploring concatenative synthesis in a practical, user-friendly manner. This focus on the user implications of concatenative synthesis leads natur- ally to the question of evaluation: not only in our system but also the wider ecosystem of generative and creative computational agents. Another evaluation methodology is proposed that expands on the one conducted in the symbolic domain and the results are presented and discussed in detail. The thesis concludes with our critical impres- sions of the work presented and the possible directions for future study. Resum La pràctica de la composició musical part sovint d’una petita idea o motiu que floreix en una obra completa mitjançant una acurada aplicació de la repetició, variació i una mica d’inspiració. En música electrònica de ball (que és altament repetitiva i basada en el ritme), aquest motiu conegut com loop és el seu component fonamental, i ad- quireix una importància més gran que en qualsevol altre estil. Mentre altres gèneres poden dependre de regles establertes per regir l’estructura harmònica i la forma, els temes de música electrònica de ball no s’allunyen molt del seu motiu central fonamen- tal en un sentit tradicional. Aquesta particular música s’elabora a través de complexos arranjaments de capes tímbriques i d’intensitat que sorgeixen a partir d’una aplicació lliure de l’activitat rítmica i dels efectes de so. Aquesta tesi explora mètodes computacionals per a la generació i variació de l’ac- tivitat rítmica, que és un peça clau en la composició de loops efectius. Comencem en el domini simbòlic, basant-nos en múltiples mètodes clàssics de composició algo- rítmica, i en el coneixement més avançat sobre percepció de similitud rítmica per a construir GenDrum, una caixa de ritmes intel·ligent basada en algoritmes genètics. Una avaluació amb oients demostra que és un enfocament vàlid, però ens qüestionem l’habilitat de mètodes purament simbòlics per a capturar l’essència del timbre. Els mètodes més moderns de composició de música electrònica es distingeixen per un ús liberal del samplejat i l’apropiació de sons preexistents, així com del disseny de nous sons purament sintetitzats. La síntesi concatenada aplica regles d’alt nivell i cri- teris que intenten combinar frases de sons d’una manera més intel·ligent i sistemàtica. Aquest enfocament basat en contingut utilitza la recerca en recuperació d’informació musical per treballar directament amb àudio i amb una codificació latent i multidi- mensional de l’espectre i de les característiques tímbriques. Com a segona contribució d’aquesta tesi, examinem la rellevància i aplicació de la sín- tesi concatenada per a producció de música electrònica de ball. Presentem una revisió exhaustiva de treballs clau en l’àrea de la síntesi concatenada i resumim els fonaments algorítmics en què se solen basar aquests sistemes. PyConcat, un entorn per a síntesi orientat a la recerca, encapsula molts dels mètodes més importants juntament amb al- gunes millores per a la selecció de característiques tímbriques, i la selecció d’unitats amb Models Ocults de Markov. Però, especialment, segueixen sent clau les implicacions en considerar les necessitats dels usuaris en el disseny de sistemes concatenats, i el lloc que aquests ocupen en els seus processos compositius i de producció. La contribució final de la tesi és Rhythm- CAT, un instrument virtual visualment atractiu i amb una metàfora d’interacció única per a l’exploració de la síntesi concatenada d’una manera pràctica i fàcil d’utilitzar. XI XII RESUM Aquest èmfasi en les implicacions de l’usuari de la síntesi concatenada porta natural- ment a la qüestió de l’avaluació, tant en el nostre sistema com en l’ampli ecosistema d’agents computacionals generatius i creatius.