• Abstract and Figures
• Public Full-text

Playing (with) Sound Of the Animation of Digitized Sounds and their Reenactment by Playful Scenarios in the Design of Interactive Audio Applications Dissertation by Norbert Schnell Submitted for the degree of Doktor der Philosophie Supervised by Prof. Gerhard Eckel Prof. Rolf Inge Godøy Institute of Electronic Music and Acoustics University of Music and Performing Arts Graz, Austria October 2013 Abstract Investigating sound and interaction, this dissertation has its foundations in over a decade of practice in the design of interactive audio applications and the development of software tools supporting this design practice. The concerned applications are sound installations, digital in- struments, games, and simulations. However, the principal contribution of this dissertation lies in the conceptualization of fundamental aspects in sound and interactions design with recorded sound and music. The first part of the dissertation introduces two key concepts, animation and reenactment, that inform the design of interactive audio applications. While the concept of animation allows for laying out a comprehensive cultural background that draws on influences from philosophy, science, and technology, reenactment is investigated as a concept in interaction design based on recorded sound materials. Even if rarely applied in design or engineering – or in the creative work with sound – the no- tion of animation connects sound and interaction design to a larger context of artistic practices, audio and music technologies, engineering, and philosophy. Starting from Aristotle’s idea of the soul, the investigation of animation follows the parallel development of philosophical con- cepts (i.e. soul, mind, spirit, agency) and technical concepts (i.e. mechanics, automation, cybernetics) over many centuries. Particular attention is hereby paid to sound reproduction and music technologies. The concept of reenactment is rooted in the ideas of enaction and embodied cognition. From this perspective, listening is examined in relationship with further interactions that support or accompany listening. An investigation of sound reproduction technologies insists in particular on the concept of congruency, as a central factor in the understanding of interaction. Sound and interaction design here appears as the composition of – technical and semantic – congruencies that define the users’ engagement into interaction with an application. After an exploration of epistemological and hermeneutical aspects of interactive technologies, the reenactment concept is further enriched by the investigation of related concepts such as metaphor, affordance, and play. Finally, playing technique and scenarios are proposed as fundamental concepts in sound and interaction design that, beyond affordance, allows for taking into account cultural factors as well as the notion of practice. The second part of the dissertation presents nine interactive audio applications. All of the applications have been realized in the past few years in collaborations on artistic and peda- gogical projects or as demo applications showcasing design ideas and technologies. The de- scriptions of the applications show how the concept of reenactment applies to the scenarios of interactive audio applications and how the concept allows for efficiently highlighting important aspects of interaction design. ii Kurzfassung (Mit) Klang spielen – Über die Animation digitalisierter Klänge und ihr Reenactment durch spielerische Szenarien in der Gestaltung interaktiver Klangapplikationen In dieser Dissertation werden Konzepte der Gestaltung interaktiver Applikationen mit digi- talisierten Klängen untersucht. Die Aufmerksamkeit gilt insbesondere den beiden Schlüssel- begriffen Animation und Reenactment (wörtlich aus dem Englischen: Wieder-in-Handlung- setzen), die es erlauben, fundamentale Aspekte der Gestaltung interaktiver Klangprozesse auf der Basis von Musik- und Klangaufnahmen zu erfassen. Die Untersuchung stützt sich auf eine langjährige Praxis in der Gestaltung von Klanginstallationen, digitalen Musikinstru- menten und Spielen sowie Klangsimulationen. Sie präsentiert eine Argumentation, die sich im Wesentlichen aus der Auseinandersetzung mit Literatur aus Philosophie und Kulturwis- senschaften, Wissenschaft und Technik entwickelt. Neben einer Einleitung (Kapitel 1) und der abschließenden Zusammenfassung (Kapitel 4) umfasst die Arbeit zwei Hauptkapitel. Im ersten dieser Kapitel (2), das den wesentlichen Teil der Dissertation ausmacht, werden umfassend die Schlüsselbegriffe, Animation und Reenact- ment bearbeitet, die im darauffolgenden Kapitel (3) anhand der Gestaltung von neun Klangin- stallationen und Applikationen angewendet und verfeinert werden. Während der Begriff der Animation hauptsächlich dazu dient das historische und aktuelle kulturelle Umfeld der Gestal- tung interaktiver Prozesse mit Klang sowie der verwendeten Technologien zu beleuchten, wird der Begriff Reenactment zunächst als ein präzises Konzept im Bereich der Gestaltung mit digi- talisierten Klängen vorgestellt, das anschließend durch die Untersuchung weiterer nahestehen- der Begriffe bereichert wird. In der Argumentation zu Beginn des zweiten Kapitels wird Animation zunächst mit wesentlichen Eigenschaften von Klang in Verbindung gebracht, welcher stets in direkter Beziehung zu lebhafter Bewegung und Interaktion steht. Jedoch ist Animation, im allge- meinen Sinn sowie im Bereich der künstlerischen Gestaltung, auch stets dem Unbewegten und Nichtlebendigen zugewandt – eben um es zu animieren. Zur Erkundung dieses As- pektes wird zunächst kulturwissenschaftliche Literatur herangezogen, die sich insbesondere mit Technologien der Klangreproduktion und ihres geschichtlichen und kulturellen Umfelds beschäftigt. Diese Technologien werden im Weiteren unter dem Blickwinkel des Begriffs der Automation betrachtet. Animation und Automation erscheinen hierbei als teils gleichbedeu- tende, teils gegensätzliche Begriffe. Sie erlauben es, wesentliche Aspekte von Techniken- twicklung von einem kulturellen Standpunkt aus zu untersuchen, auch über klangbezogene Technologien hinaus. Für diese Untersuchung ist es notwendig, weitergehend auf den kul- turellen und philosophischen Hintergrund des Begriffs der Animation im Sinne von Beseelung iii einzugehen. Ausgehend von Ideen, die Aristoteles in seinem Werk Über die Seele entwick- elt hat, werden hierzu parallele Entwicklungen philosophischer Konzepte (z.B. Seele, Geist, freier Wille) und technischer Konzepte (z.B. Mechanik, Automation, Kybernetik) über mehrere Jahrhunderte verfolgt. Dieser historische Überblick endet mit dem gleichzeitigen Aufkommen der Phänomenologie mit – zunächst analogen – Informationstechnologien und der Aufgabe der konzeptuellen Trennung von Körper und Geist (oder Seele). Die Ausführungen mün- den hier in eine Untersuchung der Begriffe der Aktion und Interaktion, die auf phänome- nologischen Standpunkten sowie weiteren philosophischen und sozialwissenschaftlichen Strö- mungen beruht und eine wichtige Grundlage für die weitere Argumentation der Dissertation darstellt. Hier werden insbesondere Deweys Begriff der Transaktion und Latours Akteur- Netzwerke eingeführt, die im zweiten Teil des Kapitels weiter ausgeführt und angewendet wer- den. Im Lichte dieser Ausführungen erscheinen Animation und Interaktionsgestaltung (engl.: interaction design) als synonyme Begriffe. Die Zusammenfassung philosophischer und kul- turgeschichtlicher Einflüsse dieses ersten Teils des Kapitels schließt mit einem Exkurs in kul- turwissenschaftliche Studien, die den Begriff der Animation schließlich in den Zusammenhang mit dem Zeichentrickfilm stellen. In diesem Epilog, der insbesondere das narrative Poten- zial von Animation betrifft, wird der Begriff mit dem Erforschen der Grenzen zwischen dem Lebendigen oder auch Menschlichen und dem Leblosen oder Mechanischen in Verbindung ge- bracht. Der zweite Teil des Kapitels betrifft den Begriff des Reenactment als ein Schlüsselkonzept in der Gestaltung interaktiver Prozesse mit aufgenommenen Klängen. Durch das Konzept wer- den die Aktionen des Benutzers einer interaktiven Applikation (z.B. Zuhörer oder Spieler) im Zusammenhang mit den Aktionen betrachtet, die von den verwendeten Klangmaterialien evoziert werden (Gesten und Bewegungen, konkrete Ereignisse und Handlungen, Praktiken sowie weitere Konnotationen). Reenactment wird zunächst aus dem Blickwinkel von Enaction und Embodied Cognition untersucht, die auf der Grundlage phänomenologischer und psychol- ogischer Konzepte seit der zweiten Hälfte des 20. Jahrhunderts wesentliche philosophische, wissenschaftliche und technische Entwicklungen beeinflusst haben. Zunächst wird die Ver- flechtung von Perzeption, Aktion und Kognition erörtert, bevor insbesondere die Aktivität des Hörens und ihre Wechselwirkung mit weiteren Handlungen, die entweder vom Hören ausgehen oder das Hören begleiten, untersucht wird. Ein weiterer Gegenstand sind die Interaktionen, die im Bereich der Klangreproduktion auftreten, wobei alle möglichen materiellen und kulturellen Interaktionen in Betracht gezogen werden, unabhängig davon, ob sie Aufnahme oder Wieder- gabe, die Interaktion zwischen Menschen oder die von Menschen mit Technologien betreffen. Besondere Aufmerksamkeit gilt hier dem Konzept der Reproduktion selbst sowie dem der Kon- gruenz, der eine Reflexion über die Wahrnehmung von Kausalitäten und Wechselwirkungen in sehr verschiedenen Zeitbereichen ermöglicht. Diese umfassen gleichermaßen Klangsignale, iv Bewegung und Gesten sowie Handlungen und Phänomene,

Load more

  184

Copy Link