Diplomarbeit Generative Music for Media Applications ausgef¨uhrtzum Zweck der Erlangung des akademischen Grades eines \Diplom-Ingenieurs f¨ur technisch-wissenschaftliche Berufe" am Masterstudiengang Telekommunikation und Medien der Fachhochschule St. P¨olten unter der Erstbetreuung von Dr Martin Parker (University of Edinburgh) Betreuer an der Fachhochschule St. P¨olten FH-Prof. DI Hannes Raffaseder Zweitbegutachtung von Mag. Michael Jaksche, MA ausgef¨uhrtvon Julian Rubisch, tm0710262057 St. P¨olten, am 26. 1. 2009 Unterschrift Ehrenw¨ortlicheErkl¨arung Ich versichere, dass • ich diese Diplomarbeit selbst¨andigverfasst, andere als die angegebenen Quellen und Hilfsmittel nicht benutzt und mich auch sonst keiner unerlaubten Hilfe bedient habe. • ich dieses Diplomarbeitsthema bisher weder im Inland noch im Ausland einem Begutachter oder einer Begutachterin zur Beurteilung oder in irgendeiner Form als Pr¨ufungsarbeit vorgelegt habe. Diese Arbeit stimmt mit der von den Begutachter/inne/n beurteilten Arbeit ¨uberein. Ort, Datum Unterschrift II Abstract Finding or composing suitable media music often poses a serious challenge to me- dia producers. Primarily low-budget productions like image videos, presentations of SMBs, TV features in regional programmes or interactive media applications like computer games often lack know-how and/or resources to have adequate media music composed for the application in question. Subsequently, in many cases royalty-free music libraries are employed as a fallback, which is why the resulting sound tracks are often characterized by poor quality and recognition value. Therefore, a large amount of thematic relevance and economic benefit lies in the development of a tool that simplifies the automated generation of media music, in order to produce { musically { richer sound tracks while at the same time staying completely royalty-free. Hence, this thesis investigates functions, impacts and possible taxonomies of me- dia music and evaluates its emotional and semantic content. Subsequently, emotive functions of media music are looked into more deeply, considering them one of the most valuable factors for the categorization of this type of music. Moreover, a model for the musical representation of emotional or affective states is introduced using Russell's circumplex model of affects [Rus80] and based on state-of-the-art research on this topic [BW05, BW06, Bru07]. Within the second half of the thesis, algorithms suitable for automated composi- tion of music are investigated, with a special focus on the ability to map the musical parameters derived from the above-mentioned emotional model onto the algorithms' input parameters. In addition, using the most applicable methods for automated composition, a prototypical application is developed in Max/MSP, implementing a user interface based on the circumplex model of affects and thus enabling smooth temporal transitions between different emotional or affective musical expressions. III Kurzfassung Das Auffinden oder Komponieren von passender Medienmusik stellt f¨urMedien- produzenten oftmals eine nicht zu untersch¨atzendeHerausforderung dar. Vor allem Low-Budget-Produktionen, wie etwa Image-Videos, Pr¨asentationen von KMUs, re- gionalen TV-Sendungen sowie interaktiven Medienanwendungen wie z.B. Computer- spielen fehlt es oft an Know-How und/oder Ressourcen, um ad¨aquateMedienmusik speziell f¨urdas jeweilige Produkt komponieren zu lassen. Aus diesem Grund wird oft auf lizenzfreie Musikbibliotheken zur¨uckgegriffen, was meist zu klischeehaften Tonspuren mit geringem Qualit¨atsanspruch sowie Wiedererkennungswert f¨uhrt. Daraus ergibt sich die thematische und wirtschaftliche Notwendigkeit der Entwick- lung eines Tools, das die automatisierte Generierung von Medienmusik erm¨oglicht, und in der Lage ist, musikalisch interessante, abwechslungsreiche, und dennoch lizenzfreie Tonspuren hervorzubringen. Die vorliegende Diplomarbeit untersucht deshalb Funktionen, Wirkungen und m¨og- liche Kategorisierungen von Medienmusik. Weiters werden emotionale Funktionen von Medienmusik genauer analysiert, sowie ein Modell der musikalischen Repr¨asen- tation von Emotionen oder Gef¨uhlszust¨anden,welches auf Russells Circumplex Model of Affects [Rus80] und modernsten Forschungsergebnissen zu dieser Thematik [BW05, BW06, Bru07] basiert, vorgestellt. In der zweiten H¨alftedieser Arbeit werden geeignete Algorithmen zur automa- tisierten Komposition von Musik betrachtet. Dabei wird besonderes Augenmerk auf die Eingabeparameter dieser Algorithmen, und deren Verwendbarkeit in Hinblick auf die musikalischen Parameter des zuvor vorgestellten emotionalen Modells gelegt. Des weiteren wird unter Verwendung der am geeignetsten erscheinenden Algorith- men eine prototypische Applikation in Max/MSP entwickelt, deren User Interface auf dem Circumplex Model of Affects basiert, und dadurch stufenlose Uberg¨ange¨ zwischen unterschiedlichen durch Musik ausgedr¨uckten Gef¨uhlszust¨andenerlaubt. IV Acknowledgements First and foremost, I want to express my sincere gratitude to Dr Martin Parker, Pro- gramme Director of the MSc Sound Design course at the University of Edinburgh, for providing guidance and scientific expertise throughout the process of writing this thesis. It was his decision to accept the supervision of this thesis which assured me that it was doable and worthwile. Furthermore, I would like to thank FH-Prof. DI Hannes Raffaseder, Programme Director of the Telecommunications & Media Masters course at the Fachhochschule St. P¨olten,and my second supervisor based in Austria, for his support and advice concerning media music theory. I would also like to mention the professional and inspiring input of Mag. Michael Jaksche, MA and DI (FH) Matthias Husinsky, who revealed their most welcome thoughts and opinions during uncountable coffee breaks. In addition, I would like to thank Mag. Rosmarie Tomasch for proofreading parts of the thesis, and Scott Beveridge, PhD student at the School of Engineering & Computing of Glasgow Cale- donian University for sharing his thoughts with me on a trip in a Swedish cab. Special thanks go to my family, especially my parents, for providing mental sup- port and belief in my abilities throughout the course of my studies. Last but not least, I want to express my deep gratefulness to my beloved part- ner Barbara, who has been supporting me in any situation for the past 31 months, including the origination process of this thesis. St. P¨olten,Austria Julian Rubisch January 26, 2009 V Contents 1. Introduction1 1.1. Problem Definition............................1 1.2. Motivation................................2 1.3. Relevance.................................3 1.4. Thesis Objectives.............................3 2. Music for Media Applications5 2.1. Applications................................5 2.1.1. Auditory User Interfaces and Displays.............5 2.1.2. Infotainment / Advertainment / Edutainment........5 2.1.3. Reactive and Interactive Media Applications.........6 2.2. Perception of Media Sound Tracks...................7 2.2.1. Relevant Qualities of Human Auditory Perception......7 2.2.2. Auditory Perception Modes...................8 2.2.3. Acousmatic Sound Perception.................. 11 2.3. Value Added by Music.......................... 12 2.3.1. Unification............................ 13 2.3.2. Punctuation............................ 13 2.3.3. Aural Perspective......................... 16 2.4. Functions & Impacts of Media Music.................. 17 2.4.1. Emotive Class.......................... 18 2.4.2. Informative Class......................... 18 2.4.3. Descriptive Class......................... 19 2.4.4. Guiding Class........................... 20 2.4.5. Temporal Class.......................... 20 2.4.6. Rhetorical Class......................... 21 2.5. Design Principles of Media Music Composition............ 21 2.5.1. Gestalt Criteria.......................... 21 VI 2.5.2. Temporal Structures....................... 23 2.5.3. Arrangement / Instrumentation................. 27 2.6. Taxonomy................................. 28 2.6.1. Media Taxonomies........................ 28 2.6.2. Common Media Music Categorization Scheme......... 30 3. Musical Representation of Emotions and Moods 31 3.1. Mood Classification........................... 32 3.1.1. Taxonomies............................ 33 3.1.2. Circumplex Model of Affects.................. 35 3.2. Modeling of Mood Music........................ 37 3.2.1. Musical Parameters....................... 38 3.2.2. Parameter Mapping....................... 42 3.2.3. Prototype Prerequisites..................... 46 4. Algorithmic Composition 48 4.1. Introduction to Algorithmic Composition and Generative Music... 48 4.1.1. Definitions............................ 48 4.1.2. Historical Context........................ 49 4.1.3. Computational Prerequisites.................. 50 4.2. Algorithms & Input Parameters..................... 50 4.2.1. Probabilistic Approaches: Stochastic Processes & Markov Chains 50 4.2.2. Iterative Approaches: Chaotic Systems & Fractals...... 57 4.2.3. Artificial Intelligence Approaches: Artificial Neural Networks 62 4.2.4. Artificial Life Approaches: Cellular Automata & Genetic Al- gorithms.............................. 68 5. Prototypical Implementation 75 5.1. Related Work............................... 75 5.2. Requirements & Limitations....................... 77 5.3. User Interface............................... 78 5.4. Modules.................................. 79 5.4.1. Global Parameters........................ 80 5.4.2. User-Definable