Die approbierte Originalversion dieser Diplom-/Masterarbeit ist an der Hauptbibliothek der Technischen Universität Wien aufgestellt (http://www.ub.tuwien.ac.at). The approved original version of this diploma or master thesis is available at the main library of the Vienna University of Technology (http://www.ub.tuwien.ac.at/englweb/). MASTERARBEIT Foundations for Music-Based Games Ausgeführt am Institut für Gestaltungs- und Wirkungsforschung der Technischen Universität Wien unter der Anleitung von Ao.Univ.Prof. Dipl.-Ing. Dr.techn. Peter Purgathofer und Univ.Ass. Dipl.-Ing. Dr.techn. Martin Pichlmair durch Marc-Oliver Marschner Arndtstrasse 60/5a, A-1120 WIEN 01.02.2008 Abstract The goal of this document is to establish a foundation for the creation of music-based computer and video games. The first part is intended to give an overview of sound in video and computer games. It starts with a summary of the history of game sound, beginning with the arguably first documented game, Tennis for Two, and leading up to current developments in the field. Next I present a short introduction to audio, including descriptions of the basic properties of sound waves, as well as of the special characteristics of digital audio. I continue with a presentation of the possibilities of storing digital audio and a summary of the methods used to play back sound with an emphasis on the recreation of realistic environments and the positioning of sound sources in three dimensional space. The chapter is concluded with an overview of possible categorizations of game audio including a method to differentiate between music-based games. These classifications are then illustrated by means of an example. In the second part of the thesis (technical foundations) I present two enhancements of the Torque Game Builder (TGB) engine and present a prototype of music-based game taking advantage of these improvements, Radiolaris. Chapter one of this section deals with the technical issues of implementing the support of gamepads and joysticks for the Mac OS X version of the Torque Game Builder engine. I summarize a technique for communication with HID (Human Interface Device) compliant USB devices by using libraries present in the operating system and show a possible way of handling the output of these devices within the game engine. In the second chapter of part two, I portray a way to integrate the FMOD Ex audio library into the TGB engine. The TGB engine already includes support for loading and playing music data, OpenAL, but unfortunately this library is geared towards using three dimensional sound sources, an approach not suitable for the use with the chosen game engine (the TGB engine is used exclusively for two dimensional games). In comparison, the FMOD Ex library incorporates functions to control sound sources directly in two dimensions as well as offering a selection of different predefined audio effects. My approach includes this functionality in the TGB Engine to substitute the OpenAL library. I conclude the second part with a presentation of Radiolaris, a prototype developed by Martin Pichlmair and Fares Kayali. The music-based game incorporates many of the new functions for the TGB engine as presented in the thesis. ii Zusammenfassung Diese Arbeit ist der Versuch, eine Grundlage für das Erstellen von musikbasierten Spielen zu geben. Das erste Teil beschäftigt sich mit den theoretischen Grundlagen von Klang in Computer- und Videospielen. Er bietet eine Übersicht über die Geschichte von Klang in Spielen, beginnend mit dem wohl ersten dokumentierten Spiel, Tennis for Two, bis hin zu den aktuellen Entwicklungen auf dem Gebiet. Dabei wird auch auf die zu der jeweiligen Zeit verfügbare Hardware eingegangen. Des Weiteren bietet das Kapitel eine Einführung in die Entstehung und die Eigenschaften von Klang, sowie die elektronische Erzeugung desselbigen. Ferner wird kurz auf die verschiedenen Möglichkeiten eingegangen, Klang elektronisch zu speichern und wiederzugeben, wobei das Hauptaugenmerk bei der Beschreibung der Wiedergabe auf der Positionierung und realistischen Darstellung von Klangquellen liegt. Abschließend wird eine Übersicht über die Möglichkeiten der Klassifizierung von Klang in Computer- und Videospielen geliefert. Zusätzlich wird eine Möglichkeit beschrieben, musikbasierte Computer – und Videospiele zu kategorisieren. Anhand eines Beispiels werden diese Einteilungen dann anschaulich gemacht. Der zweite Teil bietet eine technische Beschreibung der Implementierung einer Gamepad- und Joystickunterstützung für die Torque Game Builder (TGB) Engine in der Mac OS X Version und eine Beschreibung der Einpassung der FMOD Ex Bibliothek in die Engine. Im ersten Kapitel dieses Teils wird zusammengefasst, wie ein Gerät, dass der HID (Human Interface Device) Geräteklasse, einer Untergruppe des USB-Standards, angehörig ist, in Mac OS X mittels systemeigenen Bibliotheken angesprochen werden kann. Des Weiteren wird ein Weg beschrieben, die Ausgabe des Gerätes in der TGB Engine zu verarbeiten. Das zweite Kapitel von Teil zwei beschäftigt sich mit der Integrierung einer alternativen Audio Bibliothek in der TGB Engine. FMOD Ex ist eine Bibliothek, die es dem Nutzer ermöglicht, Musikdateien zu laden und wiederzugeben. Zusätzlich enthält FMOD Ex diverse vorgefertigte Effekte. Zwar bietet die TGB Engine mit OpenAL schon eine solche Bibliothek an, leider ist diese aber auf die Nutzung dreidimensionaler Klangquellen ausgerichtet und somit für die zweidimensionale Darstellung in der TGB Engine ungeeignet. Meine Arbeit zeigt eine Möglichkeit auf, wie FMOD Ex anstelle der OpenAL Bibliothek verwendet werden kann. Als Abschluss des technischen Teils präsentiere ich einen Prototyp für ein musikbasiertes Spiel. Radiolaris, entwickelt von Martin Pichlmair und Fares Kayali verwendet viele der neu in der TGB Engine integrierten Funktionen, die in diesem Teil vorgestellt wurden. iii Acknowledgements I would like to express my gratitude to the following people helping me in the creation of this thesis. Univ.Ass. Dipl.-Ing. Dr.techn. Martin Pichlmair for his constant input while writing this thesis. No matter how small the question, I always promptly received an answer to my problem. Dipl.-Ing. Fares Kayali, for all the input I received from him during the time of writing – especially in the hunt for bugs in the technical part of my thesis. Ao.Univ.Prof. Dipl.-Ing. Dr.techn. Peter Purgathofer, whose lessons sparked my interest in Media and Computer Science. Last but definitely not least my parents, Grazyna and Frank Marschner who patiently supported me in my studies and assisted me in widening my horizon. iv Content Abstract ....................................................................................................................................................ii Zusammenfassung...................................................................................................................................iii Acknowledgements.................................................................................................................................iv List of Figures..........................................................................................................................................vii Introduction............................................................................................................................................. 1 Part 1: Theoretical Foundations.............................................................................................................. 4 The History of Sound in Video Games................................................................................................. 5 The Beginning (1958) - 1979 ........................................................................................................... 5 1980 - 1984...................................................................................................................................... 5 1985 - 1989...................................................................................................................................... 6 1990 - 1994...................................................................................................................................... 9 1995 - 1999.................................................................................................................................... 12 2000 - 2004.................................................................................................................................... 17 2005 - Present ............................................................................................................................... 21 Creating Electronic Audio.................................................................................................................. 25 What is Sound?.............................................................................................................................. 25 Waveforms .................................................................................................................................... 25 Digital Sound ................................................................................................................................. 27 Creating Digital Sound................................................................................................................... 27 Storing Digital Audio.....................................................................................................................