Multidimensional characterization of quality of experience of stereoscopic 3D TV Wei Chen To cite this version: Wei Chen. Multidimensional characterization of quality of experience of stereoscopic 3D TV. Auto- matic Control Engineering. Université de Nantes Angers Le Mans, 2012. English. tel-00785987 HAL Id: tel-00785987 https://tel.archives-ouvertes.fr/tel-00785987 Submitted on 7 Feb 2013 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. Wei CHEN Mémoire présenté en vue de l’obtention du grade de Docteur de l’Université de Nantes Sous le label de l’Université Nantes Angers Le Mans Discipline : Informatique Spécialité : Automatique et Informatique Appliquée Laboratoire : IRCCyN Soutenue le 23 octobre 2012 École doctorale : 503 (STIM) Thèse n° : ED503-179 Caractérisation multidimensionnelle de la qualité d'expérience en télévision de la TV3D stéréoscopique Multidimensional characterization of quality of experience of stereoscopic 3D TV JURY Rapporteurs : Lina Karam, Professeur, Arizona State University Christophe Charrier, Maître de Conférences HDR, GREYC, Université de Caen Basse Normandie Examinateurs : Marcus Barkowsky, Maître de Conférences, IRCCyN, Université de Nantes Luce Morin, Professeur des Universités, IETR, INSA de Rennes Touradj Ebrahimi, Professeur, Ecole Polytechnique Fédérale de Lausanne Invité : Jérôme Fournier, ingénieur expert, lab’Orange, France Télécom Directeur de Thèse : Patrick le Callet, Professeur des Universités, IRCCyN, Université de Nantes Wei CHEN Caractérisation multidimensionnelle de la qualité d'expérience de la TV3D stéréoscopique Multidimensional characterization of quality of experience of stereoscopic 3D TV Résumé Abstract: La TV 3D stéréoscopique (S-3DTV) est supposée Stereoscopic-3DTV (S-3DTV) should provide enhanced améliorer la sensation de profondeur des observateurs depth perception to viewer while it might affect other mais possiblement en affectant d’autres facteurs de factors of user experience. Subjective assessment is the l’expérience utilisateur. L’évaluation subjective (avec most direct way to assess quality of experience (QoE). observateurs) est la méthode la plus directe pour qualifier However, conventional assessment methods are not la qualité d’expérience (QoE). Cependant, les méthodes sufficient to evaluate the QoE of S-3DTV. This thesis aims conventionnelles ne sont pas adaptées à l’évaluation de first to propose new methodologies to evaluate S-3DTV la QoE dans le cas de la S-3DTV. Cette thèse a pour but QoE; second, investigate different technical issues related de, premièrement proposer de nouvelles méthodologies to QoE along the 3DTV broadcasting chain; third, propose pour évaluer la QoE dans pareil contexte ; recommendations to optimize the S-3DTV QoE. For deuxièmement investiguer les impacts de choix methodological aspects, the key idea relies on using technologiques de la diffusion S-3DTV sur la QoE ; multidimensional QoE indicators. Visual fatigue, as a troisièmement proposer des recommandations pour particular dimension of QoE, is addressed separately optimiser la QoE. Sur les aspects méthodologiques, under optimized viewing conditions using questionnaire, l’idée clé repose sur une approche multidimensionnelle vision test and EEG signals. For other QoE indicators, we de la QoE via la définition de plusieurs indicateurs. La design subjective QoE experiments to investigate the fatigue visuelle fait l’objet d’une étude expérimentale impact of content acquisition, 3D representation format, particulière en utilisant des questionnaires, tests de compression and transmission on QoE of S-3DTV. The vision et analyse de signaux EEG dans des conditions de experiment results quantitatively reveal how perceived visualisation optimisés. D’autres indicateurs ont été binocular depth, compression distortion, the cooperation mesurés pour investiguer quantitativement l’impact de between 3D representation formats and line interleaved l’acquisition, la représentation, la compression et la display, and view asymmetries affect multidimensional transmission du contenu S-3DTV sur la QoE. De plus, les QoE of S-3DTV. Additionally, we elaborate and validate règles améliorées de captation stéréoscopiques, de improved stereoscopic shooting rules, depth budget for budget de profondeur «confortable», de débit de diffusion visual comfort, appropriate frame compatible format for line ont été élaborées et validées au travers des études interleaved display, bitrate to broadcast S-3DTV, threshold expérimentales. for view asymmetries to avoid visual discomfort. Mots clés Key words TV 3D, qualité d’expérience, fatigue visuelle, 3DTV, quality of experience, visual fatigue, visual confort visuel, qualité d’image, perception visuelle comfort, image quality, human visual perception, 3D humaine, diffusion 3D broadcasting L4u L’UNIVERSITÉ NANTES ANGERS LE MANS Acknowledgements The work presented in this thesis could not have been possible without the support of mange people. Many thanks to my supervisors: Patrick Le Callet, Marcus Barkowsky and Jérôme Fournier for their timely advice, consultations, encouragement, and critiques throughout the development of this work. Jérôme has been an invaluable source of support and guidance all along my work on the thesis. I am very grateful to France telecom colleagues: Bernard Letertre and Jean-Chareles Gicquel, for their discussion and help in designing and guiding subjective quality assessment experiments. Last but not least, I would like to thank my family: my wife and my parents. They have always been a source of motivation. Without them, I could have never accomplished what I have done today. Wei Chen Abstract Abstract Stereoscopic-3DTV (S-3DTV) should provide enhanced depth perception to viewer while it might affect other factors of user experience. Subjective assessment is the most direct way to assess quality of experience (QoE). However, conventional assessment methods are not sufficient to evaluate the QoE of S-3DTV. This thesis aims first to propose new methodologies to evaluate S-3DTV QoE; second, investigate different technical issues related to QoE along the 3DTV broadcasting chain; third, propose recommendations to optimize the S-3DTV QoE. For methodological aspects, the key idea relies on using multidimensional QoE indicators. Visual fatigue, as a particular dimension of QoE, is addressed separately under optimized viewing conditions using questionnaire, vision test and EEG signals. For other QoE indicators, we design subjective QoE experiments to investigate the impact of content acquisition, 3D representation format, compression and transmission on the QoE of S-3DTV. The experiment results quantitatively reveal how perceived binocular depth, compression distortion, the cooperation between 3D representation formats and line interleaved display, and view asymmetries affect multidimensional QoE of S-3DTV. Additionally, we elaborate and validate improved stereoscopic shooting rules, depth budget for visual comfort, appropriate frame compatible format for line interleaved display, bitrate to broadcast S-3DTV, threshold for view asymmetries to avoid visual discomfort. Keywords: 3DTV, quality of experience, visual fatigue, visual comfort, image quality, human visual perception, 3D broadcasting Résumé Résumé La TV 3D stéréoscopique (S-3DTV) est supposée améliorer la sensation de profondeur des observateurs mais possiblement en affectant d’autres facteurs de l’expérience utilisateur. L’évaluation subjective (avec observateurs) est la méthode la plus directe pour qualifier la qualité d’expérience (QoE). Cependant, les méthodes conventionnelles ne sont pas adaptées à l’évaluation de la QoE dans le cas de la S- 3DTV. Cette thèse a pour but de, premièrement proposer de nouvelles méthodologies pour évaluer la QoE dans pareil contexte ; deuxièmement investiguer les impacts de choix technologiques de la diffusion S-3DTV sur la QoE ; troisièmement proposer des recommandations pour optimiser la QoE. Sur les aspects méthodologiques, l’idée clé repose sur une approche multidimensionnelle de la QoE via la définition de plusieurs indicateurs. La fatigue visuelle fait l’objet d’une étude expérimentale particulière en utilisant des questionnaires, tests de vision et analyse de signaux EEG dans des conditions de visualisation optimisés. D’autres indicateurs ont été mesurés pour investiguer quantitativement l’impact de l’acquisition, la représentation, la compression et la transmission du contenu S-3DTV sur la QoE. De plus, les règles améliorées de captation stéréoscopiques, de budget de profondeur «confortable», de débit de diffusion ont été élaborées et validées au travers des études expérimentales. Mots clés: TV 3D, qualité d’expérience, fatigue visuelle, confort visuel, qualité d’image, perception visuelle humaine, diffusion 3D Contents Contents CONTENTS.............................................................................................................. I LIST OF FIGURES................................................................................................. V