DepartmDepartmDepartm en en en t tof tof of Media Media Media Techn Techn Techn ology ology ology Aa lto- Aa lto- Aa lto- Mikko Kytö Kytö Mikko Kytö Mikko Mikko Kytö Kytö Mikko DD DD DD 25 25 25 DDDeeepppttthhh P PPeeerrrccceeeppptttiiiooonnn o oofff / / / 2014 2014 2014 AAAuuugggmmmeeentntnteeeddd a aannnddd N NNaaatttuuurrraaalll Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems Systems Systems Stereoscopic Stereoscopic through through Scenes Scenes Natural and and Natural Augmented Augmented of of Perception Perception Depth Depth Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems Systems Stereoscopic through Scenes Natural and Augmented of Perception Depth SSSccceeennneeesss t tthhhrrrooouuuggghhh SSSttteeerrreeeooossscccooopppiiiccc S SSyyysssttteeemmmsss MMMikikikkkoko oK K Kyytytötö ö CoitCoitCoit CoitCoitCoit TowerTowerTower TowerTowerTower PierPierPier 39 39 39 PierPierPier 39 39 39 BoatBoatBoat to to to BoatBoatBoat to to to AlcatrazAlcatrazAlcatraz AlcatrazAlcatrazAlcatraz PierPierPier 41 41 41 PierPierPier 41 41 41 OakOakOak OakOakOak barrelbarrelbarrel barrelbarrelbarrel CityCityCity center center center CityCityCity center center center 9HSTFMG*affiei+ 9HSTFMG*affiei+ 9HSTFMG*affiei+ 9HSTFMG*affiei+ 9HSTFMG*affiei+ ISISBISBNBN 9N 97 97878-98-95-95252-62-60-60-50-5-5858484-84-8 -8 BBUBUSUSINSINIENESESSSS +S + + ISISBISBNBN 9N 97 97878-98-95-95252-62-60-60-50-5-585885-55-5 -(5 p( pd(pdf)df )f ) EECECOCONONONOMOMYMY Y ISISISNSN-LN-L -1L 71 791799-49-49-49393434 4 ISISISNSN 1N 71 791799-49-49-49393434 4 AARARTRT +T + + ISISISNSN 1N 71 791799-49-49-4994242 (2 p( pd(pdf)df )f ) DDEDESESIGSIGINGN N+ + + Aalto Aalto Un Aalto iversity Un iversity AARARCRCHCHIHTITEITECECTCTUTURURERE E Aalto Un iversity AAaAaltalotlo tUo Un Univnieviervserisrtisyti yt y SScSchchohool ol lof ofS fSc Sciecieniencncece e SSCSCICEIENIENCNCECE +E + + DDeDepepapartarmtrmtemenent nto tof ofM fM eMedediadia iTa eT eTcechchnhnonoloologlogyg y y TTETECECHCHNHNONOLOLOLOGOGYGY Y wwwwwwww.aw.a.altalotlo.tfo.if .if i CCRCROROSOSSSSOSOVOVEVERER R DOCTORALDOCTORALDOCTORAL DDODOCOCTCTOTORORARALAL L DISSERTATIONSDISSERTATIONSDISSERTATIONS DDIDSISSISSESERERTRTATAATIOTIOINONSNS S Aalto University publication series DOCTORAL DISSERTATIONS 25/2014 Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems Mikko Kytö A doctoral dissertation completed for the degree of Doctor of Science (Technology) to be defended, with the permission of the Aalto University School of Science, at a public examination held at the lecture hall AS1 of the school on 21 March 2014 at 12. Aalto University School of Science Department of Media Technology Visual Media Research Group Supervising professor Prof. Pirkko Oittinen Thesis advisor Dr. Jukka Häkkinen Preliminary examiners Prof. J. Edward Swan II, Mississippi State University, United States Dr. Ernst Kruijff, Bonn-Rhein-Sieg University of Applied Sciences, Germany Opponent Prof. Nicolas Holliman, The University of York, United Kingdom Aalto University publication series DOCTORAL DISSERTATIONS 25/2014 © Mikko Kytö ISBN 978-952-60-5584-8 ISBN 978-952-60-5585-5 (pdf) ISSN-L 1799-4934 ISSN 1799-4934 (printed) ISSN 1799-4942 (pdf) http://urn.fi/URN:ISBN:978-952-60-5585-5 Unigrafia Oy Helsinki 2014 Finland Abstract Aalto University, P.O. Box 11000, FI-00076 Aalto www.aalto.fi Author Mikko Kytö Name of the doctoral dissertation Depth Perception of Augmented and Natural Scenes through Stereoscopic Systems Publisher School of Science Unit Department of Media Technology Series Aalto University publication series DOCTORAL DISSERTATIONS 25/2014 Field of research Media Technology Manuscript submitted 12 November 2013 Date of the defence 21 March 2014 Permission to publish granted (date) 17 February 2014 Language English Monograph Article dissertation (summary + original articles) Abstract The ability to perceive the world with two eyes is called stereoscopic perception. The slightly different viewing positions of the two eyes provide three-dimensional information about their overlapping field of view. To utilize this common human ability technologically, stereoscopic three-dimensional (S3D) systems, for both imaging the real world with cameras and visualization in displays, need to be designed and developed. However, there is limited quantitative knowledge regarding visual performance and viewing experience, and more information is needed to better define the requirements for S3D systems. The overall research question of the dissertation addresses the benefits of stereoscopic functionality and its incorporation into guidelines for the design of stereoscopic systems. In this dissertation, human depth perception through S3D systems is evaluated based on performance measures and viewing experience attributes. Typically, depth perception through S3D systems is investigated at distances that are within arm's reach; however, we focus primarily on distances from 2 m to 30 m away from the observer, which is called action space. Within the action space, we study the depth perception in augmented reality (AR) and natural scenes. In the visual AR applications, the observer sees virtual objects that are aligned with the surrounding 3D reality in real time. Two types of AR scenes are investigated: augmented objects above the ground plane and behind the wall. For both AR scene types, the added performance of stereoscopic viewing was examined and a novel visualization approach was conceptualized and tested. In the case of natural scenes, the stereoscopic perception was investigated with crowds and typical mobile imaging. In the crowds scene type, we studied the discrimination accuracy in a head counting task. In typical indoor imaging scene types, the viewing experience was evaluated by varying the camera separation. All the experiments were conducted in set-ups constructed from software and hardware components. The results of the experiments indicate that the benefits of stereoscopic viewing are significant within the chosen scene types. The dissertation contributes three key results that are applicable to stereoscopic systems: 1) a novel visualization approach for augmented reality that involves adding virtual reference objects to the scene; 2) quantifying the performance of stereoscopic perception within the action space for virtual objects that lie above the ground plane or behind the wall and for perceiving crowds; and 3) identifying the effect of the camera separation range on the experience of viewing stereoscopic photographs. Keywords Depth perception, stereoscopic perception, depth judgment, augmented reality, stereoscopic imaging, stereoscopic visualization, crowd perception, depth cue integration, stereo camera measurement, viewing experience, action space ISBN (printed) 978-952-60-5584-8 ISBN (pdf) 978-952-60-5585-5 ISSN-L 1799-4934 ISSN (printed) 1799-4934 ISSN (pdf) 1799-4942 Location of publisher Helsinki Location of printing Helsinki Year 2014 Pages 176 urn http://urn.fi/URN:ISBN:978-952-60-5585-5 Tiivistelmä Aalto-yliopisto, PL 11000, 00076 Aalto www.aalto.fi Tekijä Mikko Kytö Väitöskirjan nimi Syvyyshavaitseminen lisätyssä todellisuudessa ja luonnollisissa näkymissä stereoskooppisten systeemien läpi katsottuna Julkaisija Perustieteiden korkeakoulu Yksikkö Mediatekniikan laitos Sarja Aalto University publication series DOCTORAL DISSERTATIONS 25/2014 Tutkimusala Mediatekniikka Käsikirjoituksen pvm 12.11.2013 Väitöspäivä 21.03.2014 Julkaisuluvan myöntämispäivä 17.02.2014 Kieli Englanti Monografia Yhdistelmäväitöskirja (yhteenveto-osa + erillisartikkelit) Tiivistelmä Ihmisen kykyä muodostaa kolmiulotteinen havainto kahdella silmällä kutsutaan stereo- skooppiseksi havaitsemiseksi. Kaksi hieman toisistaan poikkeavaa silmien sijaintia mahdollis- taa kolmiulotteisen havainnon silmien yhteisestä näkökentästä, mikä on kasvattanut visuaalis- ta suoriutumiskykyä tietyissä tilanteissa. Stereoskooppisen havaitsemisen hyödyntäminen vaatii stereoskooppisesti kolmiulotteisten (S3D) systeemien kehittämistä, mitä varten tarvitaan lisää kvantitatiivista tietämystä ihmisen visuaalisesta suoriutumiskyvystä ja katsomiskokemuksesta S3D-systeemien kanssa. Väitöskirjan tutkimuskysymyksenä on, että kuinka suuret ovat stereoskooppisen toiminnallisuuden tuomat hyödyt ja kuinka niitä voi soveltaa systeemien suunnittelussa. Tässä väitöskirjassa mitataan ihmisen suoriutumiskykyä ja katselukokemusta S3D-systeemien läpi syvyyshavaitsemisen näkökulmasta. Tyypillisesti stereoskooppista syvyyshavaintoa on tutkittu lyhyillä, käden ulottuvilla olevilla etäisyyksillä. Tässä työssä keskitytään kuitenkin pääsääntöisesti etäisyyksiin, jotka ovat 2 - 30 m etäisyydellä havaitsijasta. Tätä etäisyysaluetta kutsutaan toiminnalliseksi etäisyysalueeksi. Valitut näkymätyypit toiminnallisella etäisyysalueeen sisällä ovat lisätty todellisuus, ihmis- joukot ja tyypilliset mobiilin valokuvauksen näkymät. Lisätyssä todellisuudessa havaitsija näkee näkökentässään virtuaalisia objekteja, jotka ovat sijoitettu todellinen ympäristö huomioiden. Tässä työssä tutkitaan kahta lisätyn todellisuuden näkymätyyppiä: virtuaaliset objektit maatason yläpuolella ja virtuaaliset objektit seinän takana. Syvyyden tarkempaa havaitsemista varten kehitettiin visualisointitapa, jota kokeiltiin valituissa lisätyn todelli- suuden näkymätyypeissä. Ihmisjoukkojen tapauksessa tutkittiin stereoskooppisen havaitse- misen hyötyjä. Tyypillisten mobiilikuvauksen näkymien tapauksessa mitattiin katsomis- kokemusta. Kaikki väitöskirjan kokeet on tehty koehenkilötestein,