Verhalten, Kommunikation und Interaktion in Virtuellen 3D-Umgebungen DISSERTATION der Fakultät für Informatik der Eberhard-Karls-Universität Tübingen zur Erlangung des Grades eines Doktors der Naturwissenschaften (Dr. rer. nat.) vorgelegt von DIPL.-BIOL.JÜRGEN FECHTER aus Sigmaringen Tübingen 1999 Tag der mündlichen Qualifikation: 7. Juli 1999 Dekan: Prof. Dr. Klaus-Jörn Lange 1. Berichterstatter: Prof. Dr. Wolfgang Straßer 2. Berichterstatter: Prof. Dr. Wolfgang Rosenstiel Zusammenfassung Zu Beginn der Arbeit 1993 mußten zuerst die Grundlagen und die Basis für den Bereich der Virtuellen Realität erarbeitet werden. Es werden deshalb 3D-Geräte, Grundlagen und Techniken, Formen der Interaktion sowie angrenzende Bereiche, wie beispielsweise Netzwerkprotokolle, behandelt. Im Kern stellt diese Arbeit erstmalig ein generisches Konzept für den Austausch von Nachrichten zwischen 3D-Objekten vor. Es werden die Möglichkeiten und Grenzen dieses Modells, das allgemein Messageconcept genannt wurde, aufgezeigt. Ferner wird die Adaption des Messageconcept auf verschiedene andere Einsatzebenen dargestellt. Besonders wird hier auf eine VRML-basierte Lösung eingegangen, die auch als Vorschlag dem VRML-Konsortium eingereicht wurde. Der Austausch der Nachrichten ist nicht auf eine Applikation beschränkt, sondern kann auch netzwerktransparent erfolgen. Auf die enthaltenen Multi-User-Erweiterungen wird im Zusammenhang mit dieser Arbeit nicht eingegangen. Für die Verifikation des allgemeinen Messageconcept wurde eine Anwendung aus dem medizinischen Bereich, ein sogenannter Lichtkasten (engl. Alternator), an dem Röntgenaufnahmen befestigt werden, inklusive dazugehörigem Raum, verwendet. Im Gegensatz zu industriellen Lösungen, welche die Umgebung der Radiologen auf die Darstellung der zweidimensionalen medizinischen Bilder beschränken, bildet diese Applikation den dreidimensionalen Arbeitsraum ab. Neben dem Vorteil, daß diese Abbildung aus der realen Welt für einen nicht-computererfahrenen Mediziner intuitiv verständlich ist, steht der Nachteil des höheren Eingabeaufwands. Aufgrund der hohen Leistung, die eine 3D- Anwendung von den Rechnern fordert, mußten die Szenen vereinfacht werden, damit eine adäquate Interaktion möglich ist. Abstract In this thesis we show a prototype of a medical application for radiologists which is based on his real working environment. This was realized with help of 3D and VR techniques. Further we have developed a new message-based inter-object communication model which we called message concept. We present a classification of these objects, take a look of their architecture and how they work and can exchange messages. They are able to send and receive messages between applications and among a network. The message concept can be applied to many other areas, some of them are envisaged like help-support or special version for VRML support. By the way we think that the graphic render performance is still the lack why there are no more Virtual Environment applications available today. Für den eiligen Leser den Roten Faden auf einen Blick: Was wurde gemacht: - Verschiedene 3D-Ein- und Ausgabegeräte und Benutzerführungen (engl. Metaphor) angewendet und kritisch bewertet. - Graphische 2D-Benutzungsoberflächen, 3D- und VR-Oberflächen gegenübergestellt (Vor- und Nachteile, Restriktionen, Komplexität, Interaktionsaufwand, Informationsgehalt, reale vs. künstliche Objekte). - Klassifikation und anschließende Standardisierung von 3D-Objekten für Virtuelle Umgebungen ausgearbeitet. - Ein Kommunikationsmodell (Messageconcept) entworfen, realisiert und dieses an VRML- 2.0 angepaßt. - Verteilung von Nachrichten über ein Netzwerk (Vorstufe zu CSCW und Multi-User- Applikationen). - Ein Prototyp aus der Radiologie, genannt "Virtual Lightbox", wurde als virtuelle Welt entworfen. - Entwurf und Realisation von "intelligenten Objekten mit Verhalten". Was ist neu: - Messageconcept war das erste echte Ereignismodell für 3D-Objekte. - Das Ansprechen von Objekten und Objektgruppen über hierarchische Namensgebungen und Unterstützung von dynamisch erzeugten Objekten. - Der generische Aufbau der Nachrichten (Allgemeines Messageconcept). - Die Architektur der "Objekte mit Verhalten" (Vorbedingungen, Informationsspeicherung, eigentliche Aktion ausführen, nachfolgende Aktionen). - Die Fähigkeit, daß diese Objekte in diesem Zusammenhang weitere Abfragen initiieren können. - Die gleichzeitige Netzwerktransparenz der Nachrichten. - Die hohe Flexibilität des Messageconcept selbst. VORWORT Die vorliegende Arbeit entstand im Rahmen meiner berufsbegleitenden Promotion am Lehrstuhl für Graphisch-Interaktive Systeme des Wilhelm-Schickard-Instituts für Informatik an der Eberhard-Karls-Universität Tübingen. Ich möchte mich an dieser Stelle ganz herzlich bei meinem Mentor, Herrn Professor Straßer, bedanken, der mir als Leiter dieses Lehrstuhls die Gelegenheit bot, diese Arbeit anzufertigen. Mein Dank gilt auch allen Mitarbeitern und Studenten des Arbeitsbereichs Graphisch- Interaktive Systeme für die gute Zusammenarbeit, die Antworten auf meine Fragen, anregende Diskussionen und dem kontroversen Disput. Besonderes erwähnen möchte ich Daniel Schick, welcher durch seine Diplomarbeit einen weiteren Baustein geliefert hat. Ferner Wolfgang Broll, mit dem ich konstruktiv im Bereich Multi-User-VRML zusammenarbeitete sowie Hans-Heino Ehricke, mit dem ich die ersten Schritte in den medizinischen Bereich unternahm. Besonderer Dank gilt L. Miguel Encarnação für die fruchtbare Zusammenarbeit und weil er es immer schaffte, die Deadlines einzuhalten, und Ralf Sonntag, der stets eine Antwort auf meine Fragen parat hatte und den ich als Freund schätzen lernte. Ich möchte auch Frau Ebert für die Korrekturlesung danken. Special thanks to the Inventor team of Silicon Graphics, especially to Rikk Carey, Gavin Bell, David Mott, Alain Dumesny and Helga Thorvaldsdottir for their support. And thanks to Bill Gates, chief of Microsoft, for releasing the new operating systems NT and Windows 2000. Which let me spend much time to build up networks and related projects. Ferner der Firma Ott&Adis, die mir durch die flexible Arbeitszeitgestaltung diese weitere berufliche Qualifikation ermöglichte. Besonderen Dank gilt auch meiner Mutter und meinen Geschwistern, die mir überhaupt erst die Chance gaben, soweit zu kommen. Zuletzt richtet sich mein Dank an Gitte, die mich immer wieder antrieb und mir den nötigen Rückhalt gab. Und dem kleinen, süßen, zahnlosen Monster Merlin, der mir gegen Ende der Arbeit den Schlaf raubte. Tübingen, im Juli 1999 Jürgen Fechter INHALTSVERZEICHNIS 1 Einleitung.................................................................................................................1 1.1 Motivation............................................................................................................................................................1 1.2 Aufbau der Arbeit...............................................................................................................................................2 2 Stand der Forschung ................................................................................................3 2.1 Begriffsdefinition ................................................................................................................................................3 2.2 Präsentation .........................................................................................................................................................6 2.2.1 Natürliche Benutzungsoberfläche .........................................................................................................6 2.2.2 Soziale Benutzungsoberfläche................................................................................................................8 2.2.3 Oberflächen für abstrakte Datenvisualisierung ...................................................................................9 2.3 3D-Interaktion...................................................................................................................................................14 2.4 Techniken...........................................................................................................................................................14 2.4.1 Datenfluß-Paradigma ............................................................................................................................14 2.4.2 Interaktion durch das Zwei-Punkte-Paradigma.................................................................................15 2.4.3 Objektorientiertes Paradigma...............................................................................................................17 2.5 Interaktions-Modelle ........................................................................................................................................17 2.6 Software..............................................................................................................................................................19 2.6.1 Allgemein ................................................................................................................................................19 2.6.2 OpenGL..................................................................................................................................................20 2.6.3 Java3D .....................................................................................................................................................21 2.6.4 Direct3D .................................................................................................................................................21