Get ready for automated driving with Mixed Reality Daniele Sportillo To cite this version: Daniele Sportillo. Get ready for automated driving with Mixed Reality. Graphics [cs.GR]. Université Paris sciences et lettres, 2019. English. NNT : 2019PSLEM017. tel-02297109 HAL Id: tel-02297109 https://pastel.archives-ouvertes.fr/tel-02297109 Submitted on 25 Sep 2019 HAL is a multi-disciplinary open access L’archive ouverte pluridisciplinaire HAL, est archive for the deposit and dissemination of sci- destinée au dépôt et à la diffusion de documents entific research documents, whether they are pub- scientifiques de niveau recherche, publiés ou non, lished or not. The documents may come from émanant des établissements d’enseignement et de teaching and research institutions in France or recherche français ou étrangers, des laboratoires abroad, or from public or private research centers. publics ou privés. Préparée à MINES ParisTech Get Ready for Automated Driving with Mixed Reality Préparation à la conduite automatisée en Réalité Mixte Soutenue par Composition du jury : Daniele Sportillo Jean-Marie BURKHARDT Le 19 avril 2019 IFSTTAR Président du jury Roland BRÉMOND IFSTTAR Rapporteur Ecole doctorale n° 621 Daniel MESTRE Ingénierie des Systèmes, CNRS Univ. Aix-Marseille Rapporteur Matériaux, Mécanique, Frank FLEMISCH RWTH Aachen University Examinateur Domitile LOURDEAUX Univ. de Technologie de Compiègne Examinatrice Spécialité Alexis PALJIC Informatique temps réel, MINES ParisTech Directeur de thèse robotique et automatique Luciano OJEDA Groupe PSA Examinateur Abstract Driving automation is an ongoing process that is radically changing how people travel and spend time in their cars during journeys. Conditionally automated vehicles free human drivers from the monitoring and supervision of the system and driving envi- ronment, allowing them to perform secondary activities during automated driving, but requiring them to resume the driving task if necessary. For the drivers, understanding the system’s capabilities and limits, recognizing the system’s notifications, and inter- acting with the vehicle in the appropriate way is crucial to ensuring their own safety and that of other road users. Because of the variety of unfamiliar driving situations that the driver may encounter, traditional handover and training programs may not be sufficient to ensure an effective understanding of the interaction between the human driver and the vehicle during transitions of control. Thus, there is the need to let drivers experience these situations before their first ride. In this context, Mixed Reality provides potentially valuable learning and skill as- sessment tools which would allow drivers to familiarize themselves with the automated vehicle and interact with the novel equipment involved in a risk-free environment. If until a few years ago these platforms were destined to a niche audience, the democ- ratization and the large-scale spread of immersive devices since then has made their adoption more accessible in terms of cost, ease of implementation, and setup. The objective of this thesis is to investigate the role of Mixed Reality in the acquisition of competences needed for a driver’s interaction with a conditionally automated vehicle. In particular, we explored the role of immersion along the Mixed Reality continuum by investigating different combinations of visualization and manipulation spaces and the correspondence between the virtual and the real world. For industrial constraints, we restricted the possible candidates to light systems that are portable, cost-effective and accessible; we thus analyzed the impact of the sensorimotor incoherences that these systems may cause on the execution of tasks in the virtual environment. Starting from these analyses, we designed a training program aimed at the acquisition of skills, rules and knowledge necessary to operate a conditionally automated vehicle. In addition, we proposed simulated road scenarios with increasing complexity to suggest what it feels like to be a driver at this level of automation in different driving situations. Experi- mental user studies were conducted in order to determine the impact of immersion on learning and the pertinence of the designed training program and, on a larger scale, to validate the effectiveness of the entire training platform with self-reported and objec- tive measures. Furthermore, the transfer of skills from the training environment to the real situation was assessed with test drives using both high-end driving simulators and actual vehicles on public roads. ii R´esum´e L’automatisation de la conduite est un processus en cours qui est en train de changer radicalement la fa¸con dont les gens voyagent et passent du temps dans leur voiture pendant leurs d´eplacements. Les v´ehicules conditionnellement automatis´es lib`erent les conducteurs humains de la surveillance et de la supervision du syst`eme et de l’environnement de conduite, leur permettant d’effectuer des activit´es secondaires pen- dant la conduite, mais requi`erent qu’ils puissent reprendre la tˆache de conduite si n´ecessaire. Pour les conducteurs, il est essentiel de comprendre les capacit´es et les lim- ites du syst`eme, d’en reconnaˆıtre les notifications et d’interagir de mani`ere ad´equate avec le v´ehicule pour assurer leur propre s´ecurit´eet celle des autres usagers de la route. A` cause de la diversit´edes situations de conduite que le conducteur peut rencontrer, les programmes traditionnels de formation peuvent ne pas ˆetre suffisants pour assurer une compr´ehension efficace de l’interaction entre le conducteur humain et le v´ehicule pendant les transitions de contrˆole. Il est donc n´ecessaire de permettre aux conducteurs de vivre ces situations avant leur premi`ere utilisation du v´ehicule. Dans ce contexte, la R´ealit´eMixte constitue un outil d’apprentissage et d’´evaluation des comp´etences po- tentiellement efficace qui permettrait aux conducteurs de se familiariser avec le v´ehicule automatis´eet d’interagir avec le nouvel ´equipement dans un environnement sans risque. Si jusqu’`ail y a quelques ann´ees, les plates-formes de R´ealit´eMixte ´etaient destin´ees `aun public de niche, la d´emocratisation et la diffusion `agrande ´echelle des dispositifs immersifs ont rendu leur adoption plus accessible en termes de coˆut, de facilit´ede mise en œuvre et de configuration. L’objectif de cette th`ese est d’´etudier le rˆole de la r´ealit´emixte dans l’acquisition de comp´etences pour l’interaction d’un conducteur avec un v´ehicule conditionnellement automatis´e. En particulier, nous avons explor´ele rˆole de l’immersion dans le contin- uum de la r´ealit´emixte en ´etudiant diff´erentes combinaisons d’espaces de visualisation et de manipulation et la correspondance entre le monde virtuel et le monde r´eel. Du fait des contraintes industrielles, nous avons limit´eles candidats possibles `ades sys- t`emes l´egers portables, peu chers et facilement accessibles; et avons analys´el’impact des incoh´erences sensorimotrices que ces syst`emes peuvent provoquer sur la r´ealisation des activit´es dans l’environnement virtuel. A` partir de ces analyses, nous avons con¸cu un programme de formation visant l’acquisition des comp´etences, des r`egles et des connaissances n´ecessaires `al’utilisation d’un v´ehicule conditionnellement automatis´e. Nous avons propos´edes sc´enarios routiers simul´es de plus en plus complexes pour per- mettre aux apprenants d’interagir avec ce type de v´ehicules dans diff´erentes situations de conduite. Des ´etudes exp´erimentales ont ´et´emen´ees afin de d´eterminer l’impact de l’immersion sur l’apprentissage, la pertinence du programme de formation con¸cu et, `a plus grande ´echelle, de valider l’efficacit´ede l’ensemble des plateformes de formation par des mesures subjectives et objectives. Le transfert de competences de l’environnement de formation `ala situation r´eelle a ´et´e´evalu´epar des essais sur simulateurs de conduite haut de gamme et sur des v´ehicules r´eels sur la voie publique. iii Contents 1 Introduction 1 1.1 Context of the thesis ............................ 1 1.2 Motivations ................................. 1 1.3 Objectives of the Thesis .......................... 2 1.4 Structure of the document ......................... 4 I Context and theoretical background 7 2 Driving Automation 9 2.1 Introduction ................................. 10 2.1.1 Perceiving the road environment .................. 10 2.1.2 Levels of Driving Automation ................... 11 2.2 Level 3 - Conditionally Automated Vehicles ............... 13 2.2.1 Human Factors in Autonomous Driving .............. 14 2.2.2 Situation Awareness: the Out-Of-The-Loop problem ...... 15 2.2.3 Transition of Control ........................ 16 2.2.4 Evaluation of Take-Over ...................... 20 2.2.5 Factors influencing the take-over .................. 21 2.3 The need for training ............................ 24 2.3.1 Current state of driver’s training in automated vehicles ..... 26 2.4 Concluding remarks ............................. 27 3 Design of Mixed Reality Training for Automated Cars drivers 29 3.1 Introduction ................................. 30 3.2 The Mixed Reality spectrum ........................ 31 3.2.1 Immersion in Mixed Reality .................... 33 3.2.2 Sensorimotor Incoherences ..................... 35 3.2.3 Stimulation vs Information correspondence ............ 37 3.2.4 The need for light training systems ................ 40 3.3 Training and Learning in Mixed Reality ................. 43 3.3.1 Immersive