Virtual Reality Based Information Systems and their Applications in the Field of Tourism DISSERTATION DER ABTEILUNG INFORMATIK DER WIRTSCHAFTSWISSENSCHAFTLICHEN FAKULTÄT DER UNIVERSITÄT ZÜRICH zur Erlangung der Würde eines Doktors der Informatik vorgelegt von KORNEL SZABO von Langendorf (SO) genehmigt auf Antrag von PROF. DR. PETER STUCKI PROF. DR. LEWIS E. HITCHNER Februar 1998 Die Wirtschaftswissenschaftliche Fakultät, Abteilung Informatik, gestattet hierdurch die Drucklegung der vorliegenden Dissertation, ohne damit zu den darin ausgesprochenen Anschauungen Stellung zu nehmen. Zürich, den 2. Juli 1997 Der Abteilungsvorsteher: Prof. Dr. L. Richter I The best user interface is the one that people really use. II III Abstract Virtual Reality (VR) environments offer a new kind of human computer as well as human human interaction. The user of a VR system can immerse himself into a computer-generated, multi-sensory, intuitively operable virtual experience space, and interact with virtual objects in real-time. In this thesis, a new model for the description and classification of VR systems is presented. The discussion of basic issues and challenges in the development, operation and maintenance of VR systems leads to a set of new approaches for VR application models and systems. The coupling of VR based systems with conventional database subsystems leads to a new architecture model for VR based information systems. This opens the potential for the design and implementation of very promising new application scenarios such as VR based geographic, medical, or facility information systems at large. Another interesting specific application field is found in tourism. A scenario that has hardly been discussed within the VR community yet. Until now, existing tourist information systems can not sufficiently meet the information-intensive, multimedia, and spatial nature of tourism related services and processes. The application of VR based tourist information systems can significantly contribute to the implementation of more appropriate solutions. By the help of a new methodology for systematic analysis and evaluation of VR systems, the system architecture, design rationales, and implemented user interface metaphors of three VR application prototypes will be presented and discussed. These are accompanied by system performance and usability experiments. The first prototype, a Virtual Realiy based Geographic Information System, implements sophisticated methods and techniques for efficient data management in real-time by applying a client- server architecture. They allow the dynamic loading of virtual environment data at runtime and optimize load strategies for increased runtime performance. User interface aspects of VR applications are discussed with the help of the other two protoypes, a cockpit based immersive driving simulator and a VR based holiday house exploration environment. Furthermore, a new software architecture is proposed to improve the integration of additional peripheral devices into an existing VR system environment and to enable the development of software components in parallel. IV The close relationship of the three application prototypes to the field of tourism allows one to apply the findings to the design of architecture models and user interface metaphors for VR based tourist information systems. V Zusammenfassung Das Ziel von Virtual Reality (VR) Umgebungen ist es, dem Nutzer eine neue Art der Mensch Maschine bzw. Mensch Mensch Interaktion zu ermöglichen. Dem Nutzer eines VR Systems wird die Möglichkeit geboten, in einen computer- generierten, multi-sensorischen sowie intuitiv zu bedienenden virtuellen Experimentier- und Erfahrungsraum “einzutauchen” und dort in Echtzeit mit virtuellen Objekten zu interagieren. In der vorliegenden Arbeit wird ein neues Modell vorgestellt, das zur Beschreibung und Klassifikation von VR Systemen eingesetzt werden kann. Die Diskussion der Grund- problematiken bei der Entwicklung, dem Betrieb und der Wartung von VR Systemen führt zu einer Reihe neuer Modell- und Systemansätze für VR Anwendungsum- gebungen. Die Kopplung von Virtual Reality basierten Systemen mit Datenbankverwaltungs- komponenten führt zu einem neuen Architekturmodell für Virtual Reality basierte Informationssysteme. Dies eröffnet das Potential für die Realisierung von vielver- sprechenden Anwendungsszenarien wie zum Beispiel VR basierte Geo-, Medizin- oder Anlageninformationssysteme. Als äusserst zukunftträchtiges Anwendungsfeld für Virtual Reality basierte Informationssysteme gilt das Gebiet des Tourismus. Solche Anwendungsszenarien wurden bisher kaum in der VR Fachwelt diskutiert. Dem informationsintensiven, multimedialen sowie raumbezogenen Charakter von Dienst- leistungen und Prozessen im Tourismus konnte bislang nur ungenügend durch ent- sprechende Tourismusinformationssysteme entsprochen werden. Der Einsatz von Virtual Reality basierten Tourismusinformationssystemen kann einen wesentlichen Beitrag dazu leisten, angemessenere Lösungen zu realisieren. Mit Hilfe einer neuen Methodologie zur systematischen Untersuchung und Evaluation von VR Systemen werden die implementierte Systemarchitektur, verfolgte Entwurfs- prinzipien sowie eingesetzte Benutzerschnittstellenmetaphern von drei realisierten An- wendungsprototypen vorgestellt und diskutiert. Dazu werden ausgiebige Experimente zur Messung der Laufzeit und Benutzbarkeit durchgeführt. In der Beschreibung des ersten Prototypsystems wird aufgezeigt, wie über eine Client-Server-Architektur zur Laufzeit geographische Szenendaten dynamisch nachgeladen werden können. Die angewandten Methoden und Techniken für ein effizientes Datenmanagement unter Echtzeitbedingungen werden diskutiert, um adäquate Ladestrategien für die Laufzeit- VI optimierung postulieren zu können. Aspekte der Benutzerschnittstelle bei VR Umgebungen werden mit Hilfe der anderen beiden Prototypen, einem Cockpit basierten immersiven Fahrsimulator und einer VR basierten Anwendungsumgebung zur Erkundung eines Ferienhauses, diskutiert. Ferner wird eine neue Softwarearchitektur vorgestellt, die es erlaubt, Peripheriegeräte robuster in ein bestehendes VR System einzubinden und die Entwicklung von Softwarekomponenten parallel durchzuführen. Der starke Bezug der drei Prototypanwendungen zum Gebiet des Tourismus ermöglicht, aus den gewonnen Ergebnissen Architekturmodelle und Benutzerschnittstellen- metaphern für VR basierte Tourismusinformationssysteme zu entwerfen. VII Acknowledgements This thesis has been elaborated during my stay at the MultiMedia Laboratory of the Department of Computer Science at the University of Zurich. I would like to thank to all those who contributed to the completion of this thesis. I would like to give special thanks to my thesis supervisor Prof. Dr. Peter Stucki for his scientific competence, dedicated assistance, guidance, open door policy, and exchange of many fruitful ideas. I would like to thank Prof. Dr. Lewis. E. Hitchner for acting as co-referee and Prof. Dr. Peter Widmayer for supporting the ViRGIS project and his constructive cooperation. Thanks are due to all my colleagues, namely to Dr. Philipp Ackermann, Dr. Martin Bichsel, Dr. Martin Dürst, Dr. Matthias Rauterberg, Dr. Robert Schleich, Dr. Stefanie Teufel, Dominik Eichelberg, Christoph Naef, Renato Pajarola, and Christian Stern for their constructive discussions and precious suggestions, and William Harris for proof- reading the thesis. Thanks are also due to all of the students who have contributed by their projects and master thesis work to the concepts and validations presented in this thesis, namely Stefan Amand, Patrick Aschwanden, Felix Kägi, Jonas Kurth, Fabian Honegger, Roberto E. Micieli, and Martin Roth. Furthermore, I would like to thank Enrico Solca, Beat Rageth, and Michel Hafner for providing system support and helping me out with scarce resources, and Lukas Meyer from TV-Uni for his help in video recording of the VR application prototypes. Finally, I would thank my parents for their continuous support and patience and all my friends who have shown interest for my projects. This work has been supported by the Swiss National Science Foundation and the University of Zurich. Brüttisellen, Mai 1997 Kornél Szabó VIII Contents 1. Introduction 1 1.1 Interactive 3D Simulation and Virtual Reality 1 1.1.1 Hardware Development and System Architecture 1 1.1.2 Software Development 2 1.1.3 Methodologies for Virtual Reality Application Development 3 1.1.4 User Interfaces Metaphors 3 1.2 Motivation and Objectives 5 1.3 Thesis Organization 6 2. Introduction to Virtual Reality Technology and Systems 9 2.1 Terminology and Paradigms 9 2.2 Basic Building Blocks 12 2.2.1 Image Processing and Generation 14 2.2.2 Sound Processing and Generation 15 2.2.3 Haptic and Kinesthetic Information Processing and Generation 18 2.2.4 Interfacing Framework 19 2.2.5 Virtual Environment Modeling and Management 20 2.2.6 Peripheral IO Devices and Subsystems 21 2.2.7 Workload Balancing and Distribution 22 2.2.8 Local and Global Networking 23 2.3 Virtual Reality Modeling Language 24 2.4 Major Issues and Challenges 25 IX 2.4.1 Real-Time Interaction and Synchronization of Perceptual Channels 25 2.4.2 Intuitive and User-Friendly Human Computer Interaction 26 2.4.3 Effective Scenebase Modeling and Management 28 2.4.4 Eased System Development, Setup and Maintenance 29 2.4.5 Economical Aspects 30 2.5 Summary 30 3. Virtual Reality Based Information Systems 33 3.1 Information Systems 33 3.1.1 Terminology 34 3.1.2 Taxonomy and Classification Concepts 34 3.2