Overall Listening Experience — a new Approach to Subjective Evaluation of Audio Overall Listening Experience — Ein neuer Ansatz zur subjektiven Evaluierung von Audio Dissertation Der Technischen Fakult¨at der Friedrich-Alexander-Universit¨at Erlangen-Nurnberg¨ zur Erlangung des Doktorgrades Doktor der Ingenieurwissenschaften (Dr.-Ing.) vorgelegt von Michael Sch¨offler aus B¨oblingen Als Dissertation genehmigt von der Technischen Fakult¨at der Friedrich-Alexander-Universit¨at Erlangen-Nurnberg¨ Tag der mundlichen¨ Prufung:¨ 17.02.2017 Vorsitzender des Promotionsorgans: Prof. Dr.-Ing. Reinhard Lerch 1. Gutachter: Prof. Dr.-Ing. Jurgen¨ Herre 2. Gutachter: Prof. Dr.-Ing. Thomas Sporer ERKLARUNG¨ Erkl¨arung Hiermit versichere ich an Eides statt, dass ich die vorliegende Arbeit selbstst¨andig und ohne Benutzung anderer als der angegebenen Hilfsmittel angefertigt habe. Die aus anderen Quellen oder indirekt ubernommenen¨ Daten und Konzepte sind unter Angabe der Quelle gekennzeichnet. Die Arbeit wurde bisher weder im In- noch im Ausland in gleicher oder ¨ahnlicher Form in einem Verfahren zur Erlangung eines akademischen Grades vorgelegt. Calw-Altburg, 01.10.2016 Michael Sch¨offler i Doctoral Thesis, Michael Sch¨offler ACKNOWLEDGEMENTS Acknowledgements This doctoral thesis reflects the results of my research conducted in the group of Prof. Dr. J¨urgen Herre at the International Audio Laboratories Erlangen (AudioLabs), which is a joint institution of the Friedrich-Alexander-Universit¨atErlangen-N¨urnberg and the Fraunhofer Institute for Integrated Circuits IIS. First of all, I would like to express my special appreciation and thanks to Prof. Dr. J¨urgen Herre for giving me the opportunity to carry out my thesis in his group. I am very thankful for his inputs, ideas, and support. I am very grateful to Prof. Dr. Thomas Sporer for supporting this work and accepting to be my second reviewer. I am very thankful to my former colleagues of the International Audio Laboratories Erlangen. Many of them supported my work with collaborations, ideas, participation in experiments, and discussions: Alexander Adami, Tom B¨ackstr¨om,Stefan Balke, Stefan Bayer, Thure Beyer, Christian Borss, Sebastian Braun, Alexandra Craciun, Soumitro Chakrabarty, Sascha Disch, Christian Dittmar, Jonathan Driedger, Bernd Edler, Esther Feichtner, Johannes Fischer, Emanu¨el Habets, Tobias J¨ahnel, Nanzhu Jiang, Simon Krauss, Patricio Lopez-Serrano, Maria Luis Valero, Tracy Harris, Christian Helmrich, Meinard M¨uller,Vlora Arifi-M¨uller,Po-Yao Hsiao, Thomas Pr¨atzlich, Day-See Riechmann, Nadja Schinkel-Bielefeld, Andreas Silzle, Fabian-Robert St¨oter, Maja Taseska, Armin Taghipour, Stefan Turowski, Elke Weiland, Christof Weiss, Nils Werner and probably many more. Moreover, I want to thank my former students for the fruitful collaborations: Sarah Bartoschek (Conrad), Harald Bayerlein, Maxime Lefranc, Jan Lukas Gernert, Christian Kuchler, Maximilian Neumayer, Maryam Sadreddini, Alexander Eduard “Eddy” Szalo, Marlene Roess, and Susanne Westphal. A special thank goes to my new colleagues from the Production Automation department of the Corporate Research sector of the Robert Bosch GmbH. The excellent working conditions and the interesting projects made it very easy for me to stay motivated after work to finish my doctoral thesis. A very special thank goes to all the participants of my experiments. This work would not have been possible without them. Finally, I thank my family and friends. In particular, I want to thank my beloved wife, Jenny, for being my familiar since so many years, as well as my kiddos, Noah, Simon, and Elias, for bringing so much joy in my life. iii Doctoral Thesis, Michael Sch¨offler ABSTRACT Abstract To date, many subjective evaluation methods for measuring the performance of audio systems have been published. Most prominent examples originate from recommendations of the International Telecommunication Union, namely BS.1534, BS.1116, and P.800. Typically, in such evaluation methods, assessors rate audio quality-related attributes of stimuli processed by audio systems under test. These audio quality-related attributes are of perceptual nature and, therefore, are not expected to involve any personal preferences, feelings, or emotions regarding the used test material. Since customer decisions are not purely based on audio quality-related aspects in many real-world scenarios, these subjective evaluation methods are of limited use to indicate whether the audio systems under test will be appreciated by potential customers. In this work, a new listening test method is presented in which participants rate the so-called overall listening experience (OLE). In contrast to previous subjective evaluation methods, the participants are explicitly asked to take everything into account that is important to them when rating the test material. Thus, the results of the proposed method indicate whether the provided technical audio quality of the audio systems under test significantly affect the participants’ overall listening experience, or Quality of Experience (QoE). This thesis is structured as follows: First, the term overall listening experience is established, since it has been used differently in the past. Then, a formal listening test method is proposed, including guidelines for the statistical analysis and statements about its reliability. Next, a selection of experiments is presented which were carried out based on the proposed listening test method. The purpose of these experiments has been to discover several influencing factors for the overall listening experience. Finally, an outlook is given to possible future research related to the findings presented in this thesis. v Doctoral Thesis, Michael Sch¨offler ZUSAMMENFASSUNG Zusammenfassung Bis heute wurden bereits zahlreiche subjektive Evaluierungsmethoden f¨urAudio-Systeme ver¨offent- licht. Zu den bekanntesten Beispielen z¨ahlendie Methoden aus den Empfehlungen der Inter- nationalen Fernmeldeunion (ITU), wie BS.1534, BS.1116 und P.800. Ublicherweise¨ werden in diesen Evaluierungsmethoden Audio-Systeme ausschließlich hinsichtlich ihrer Audioqualit¨at bewertet. Evaluierungsteilnehmer blenden daher ihre pers¨onlichen Pr¨aferenzensowie sonstigen Empfindungen und Emotionen w¨ahrendeiner Evaluierung aus. Eine Vielzahl von allt¨aglichen (Kauf-)Entscheidungen f¨urAudio-Systeme wird allerdings nicht ausschließlich auf Basis der Audioqualit¨atget¨atigt. Wenn Audio-Systeme ganzheitlich, insbesondere unter der Einbeziehung von pers¨onlichen Pr¨aferenzen,bewertet werden sollen, sind die genannten Evaluierungsmethoden lediglich von bedingtem Nutzen. In dieser Arbeit wird eine neue subjektive Evaluierungsmethode vorgestellt, in der Evaluierung- steilnehmer Audio-Systeme hinsichtlich der sogenannten Overall Listening Experience (OLE) bewerten. Im Gegensatz zu bisherigen Evaluierungsmethoden sind die Teilnehmer explizit darauf instruiert, jeden Aspekt in ihre Bewertung miteinzubeziehen, der ihnen wichtig erscheint. Die Ergebnisse der vorgestellten Methode k¨onneneine Aussage dar¨uber geben, in wie weit die Overall Listening Experience von Audio-Qualit¨atbeeinflusst wurde. Diese Arbeit ist wie folgt aufgebaut: Zu Beginn wird der Begriff Overall Listening Experi- ence n¨ahererl¨autert.Danach wird die neue Evaluierungsmethode einschließlich Leitlinien f¨ur die statistische Auswertung vorgestellt und eine Aussage ¨uber ihre Reliabilit¨atgetroffen. An- schließend wird eine Auswahl von durchgef¨uhrtenH¨orversuchen pr¨asentiert, die auf der neuen Evaluierungsmethode basieren. Ziel dieser H¨orversuche war es, Faktoren zu identifizieren, die die Overall Listening Experience beeinflussen. Abschließend wird ein Ausblick auf m¨ogliche zuk¨unftigeForschungsthemen gegeben, die auf den Erkenntnissen dieser Arbeit aufbauen. vii Doctoral Thesis, Michael Sch¨offler NOMENCLATURE Nomenclature Symbols Symbol Description M Mean Me Median Mo Mode p Calculated probability of a statistical test R¯2 Adjusted R-squared (coefficient of determination) SD Standard deviation α Significance level τ Kendall’s rank correlation coefficient Abbreviations Abbreviation Description BAQ Basic Audio Quality BRIR Binaural Room Impulse Responses EBU European Broadcasting Union IPM Ideal Profiling Method ITU International Telecommunication Union LFE Low Frequency Effects/Enhancement MUSHRA Multi-Stimulus Test with Hidden Reference and Anchor OLE Overall Listening Experience PEAQ Perceptual Evaluation of Audio Quality QoE Quality of Experience QoS Quality of Service SPL Sound Pressure Level VR Virtual Reality ix Doctoral Thesis, Michael Sch¨offler CONTENTS Contents Erkl¨arung i Acknowledgements iii Abstract v Zusammenfassung vii Nomenclature ix 1 Introduction 1 1.1 Main Publications . 2 1.2 Additional Publications . 4 2 Background 7 2.1 Quality of audio systems . 7 2.1.1 Sound quality . 7 2.1.2 Subjective evaluation of sound quality . 9 2.1.3 Factors influencing sound quality . 10 2.1.4 Basic audio quality . 13 2.1.5 Quality of Service . 14 2.1.6 Quality of Experience . 14 2.2 Evaluation Methodologies for Audio Systems . 17 2.2.1 Idea evaluation methods . 18 2.2.2 Subjective evaluation methods . 19 2.2.3 Statistical analysis of subjective evaluation methods . 25 2.2.4 Scales used in subjective evaluation methods . 27 2.2.5 Objective evaluation methods . 28 2.3 Na¨ıve listeners and expert listeners . 29 3 OLE-based Subjective Evaluation Method 33 3.1 Motivation . 33 3.2 Definition of Overall Listening Experience . 34 Doctoral Thesis, Michael Sch¨offler CONTENTS 3.3 Rating scale for Evaluating Overall Listening