Visual Augmentation Methods for Teleoperated Space Rendezvous
Total Page:16
File Type:pdf, Size:1020Kb
TECHNISCHE UNIVERSITÄT MÜNCHEN Lehrstuhl für Raumfahrttechnik Visual Augmentation Methods for Teleoperated Space Rendezvous Dipl.-Ing. Univ. Markus Wilde Vollständiger Abdruck der von der Fakultät für Maschinenwesen der Technischen Universität Mün- chen zur Erlangung des akademischen Grades eines Doktor-Ingenieurs (Dr.-Ing.) genehmigten Dissertation . Vorsitzender: Univ.-Prof. Dr.-Ing. habil. Boris Lohmann Prüfer der Dissertation: 1. Univ.-Prof. Dr. rer. nat. Dr. h.c. Ulrich Walter 2. Univ.-Prof. Dr.-Ing. Berthold Färber (Universität der Bundeswehr München) Die Dissertation wurde am 27.06.2012 bei der Technischen Universität München eingereicht und durch die Fakultät für Maschinenwesen am 13.12.2012 angenommen. Abstract ABSTRACT Rendezvous & docking is a quintessential capability for all on-orbit servicing and space debris removal activities. Considerable research and development effort has been expended to develop automated or even autonomous rendezvous & docking systems for these applications. Nonetheless, uncooperative targets which are not equipped with docking interfaces and sensor targets, and which might be rotating or tumbling, still require the involvement of a human operator to be cap- tured successfully. This doctoral thesis investigates the two-pronged hypothesis that (1) a human operator is able to successfully conduct final approach and docking maneuvers of a generic, rotating target object, using a joystick, live video feedback, and a support suite consisting of a spacecraft attitude head-up display (HUD), and a trajectory prediction display; and (2) the operator’s performance is increased when the chaser spacecraft is equipped with a robotic camera arm called the ThirdEye, providing an auxiliary, flexible vantage point, and a graphical user interface integrating the HUD, trajectory prediction and multiple camera views into an accessible and intuitive operator interface. These approach and docking maneuvers are to be conducted under the impact of time delays representa- tive of space communication links using a single geostationary relay satellite. The system components’ design and implementation is described, with their requirements being developed from existing human-machine interfaces in the underwater, ground and air vehicle teleoperation domains. This description is accompanied by a number of user studies testing and evaluating single system components in order to identify the most usable system configuration. The results of the development process are an attitude HUD based on the outside-in principle in an orbital-plane based coordinate reference system; a three-dimensional (3D) trajectory prediction display in the chaser spacecraft body coordinate system; the ThirdEye, a five degrees of freedom robotic camera arm with a virtual, 3D status display, controlled by means of a single joystick; and an operator interface integrating these features with two monoscopic video streams. Using this operator support system, a series of final approach and docking experiments was con- ducted. The experiments showed that even inexperienced operators could successfully dock to rotating target objects using the combination of attitude HUD, trajectory prediction display and a single monoscopic video stream. With the introduction of the robotic camera arm and the auxiliary camera view, the success rates and the precision of the docking maneuvers was increased along with operator situation awareness, albeit at the cost of increased propellant and time consumption. Operator task load and docking safety were not influenced by use of the ThirdEye. Human operators can therefore be enabled to successfully complete the challenging approach and docking maneuvers of rotating, uncooperative targets. Teleoperation of this mission phase is thus an alternative to automated or autonomous systems, either as a contingency backup or as the nom- inal approach. Visual Augmentation Methods for Teleoperated Space Rendezvous i Zusammenfassung ZUSAMMENFASSUNG Rendezvous & Docking ist eine essentielle Fähigkeit für alle On-Orbit Servicing und Space Debris Removal-Missionen. Daher wurde beträchtlicher Forschungs- und Entwicklungsaufwand im Be- reich automatischer und autonomer Rendezvous & Docking-Systeme betrieben. Dennoch erfordern unkooperative Ziele, die nicht mit Docking-Schnittstellen und Sensorzielen ausgestattet sind, und eventuell rotieren oder taumeln, die Miteinbeziehung eines menschlichen Operators. Diese Dissertation untersucht die zweiteilige Hypothese, dass (1) ein Operator in der Lage ist, nur unter Verwendung eines Joysticks, Live-Videos, einem Lage-Head-Up-Display (HUD), und einer Flugpfadprädiktion erfolgreich Dockinganflüge eines generischen, rotierenden Zielobjekts durchzu- führen; (2) die Leistung des Operators wird verbessert, wenn der anfliegende Satellit mit dem ThirdEye ausgerüstet ist, einem robotischen Kameraarm, der einen zusätzlichen, flexiblen Blick- punkt bietet, sowie einer grafischen Nutzerschnittstelle, die das HUD, die Flugpfadanzeige und die beiden Kamerabilder integriert. Die Anflug- und Dockingmanöver sollen dabei unter dem Einfluss der Signallaufzeitverzögerungen stattfinden, die für Kommunikationstrecken übern einen geostati- onären Relaissatelliten repräsentativ sind. Das Design und die Umsetzung der Systemkomponenten werden beschrieben, wobei die Systeman- forderungen aus vergleichbaren Mensch-Maschine-Schnittstellen der Unterwasser-, Luft-, und Fahrrobotik entwickelt werden. Diese Systembeschreibung wird durch eine Reihe von Nutzerstu- dien begleitet, die einzelne Komponenten testen und evaluieren, um die geeignetste Systemkonfi- guration zu identifizieren. Dier Ergebnisse der Entwicklung sind ein Lage-HUD, welches auf dem „Inside-Out“-Prinzip und einem Orbitebenen-basierenden Koordinatensystem basiert; eine dreidi- mensionale (3D) Flugpfadprädiktion im Körperkoordinatensystem des anfliegenden Satelliten; das ThirdEye, ein robotischer Kameraarm mit fünf Freiheitsgraden welcher über eine virtuelle, 3D Statusanzeige und einen einfachen Joystick gesteuert wird; und eine Mensch-Maschine- Schnittstelle, die diese Komponenten mit zwei monoskopischen Videos kombiniert. Eine Reihe von Dockingexperimenten wurde durchgeführt. Die Experimente zeigten, dass auch unerfahrene Operatoren in der Lage sind, unter Verwendung des HUD, der Flugpfadanzeige, und Mono-Video an rotierende Zielobjekte anzudocken. Die Verwendung des Kameraarms und der zusätzlichen Kamera erhöht die Erfolgsraten, die Andockpräzision, sowie das Situationsbewusst- sein der Operatoren, jedoch zu dem Preis erhöhten Treibstoff- und Zeitbedarfs. Die Arbeitsbelas- tung des Operators und die Sicherheit der Anflüge wurden durch das ThirdEye nicht beeinflusst. Bodenoperatoren können daher in die Lage versetzt werden, die herausfordernden Anflüge unko- operativer, rotierender Ziele erfolgreich durchzuführen. Die Teleoperation dieser Anflüge ist daher eine Alternative zu automatischen oder autonomen Systemen, entweder als Ausweichmöglichkeit für Systemfehlverhalten, oder auch als nominaler Operationsansatz. ii Visual Augmentation Methods for Teleoperated Space Rendezvous Acknowledgments ACKNOWLEDGMENTS Although only the author receives credit and deserves criticism, a complex and technically challeng- ing project like an experimental doctoral thesis cannot be accomplished without considerable support of students, colleagues, friends and family. I’d therefore like to thank the students who through their research theses and assistant jobs ex- pended considerable effort into implementing the hard- and software used throughout the experi- ment series, and who also came up with a number of excellent ideas that greatly improved individ- ual system components. A special thanks is owed to Ludwig Friedman, who went way beyond duty to help solve numerous technical problems with the robotic camera arm and its control software. Then there is also Zarrin Chua, at the time of writing a Ph.D. student at Georgia Institute of Tech- nology. She assisted me in designing the evaluation experiments and lent me invaluable advice in running the experiments and the statistical analysis. Without her guidance I might have got lost in an ocean of statistics. All of my colleagues at LRT contributed substantially to this thesis, by either patiently listening to my complaints and doubts, or by helping me solve the innumerable problems I had with the details of the system components and the evaluation and test setup. Great morale-boosters in times of doubt and black holes swallowing all motivation were Philipp Hager, Claas Olthoff, Dr. Alex Hoehn, and Dr. Martin Rott who on numerous occasions convinced me to press on when I wanted to close the shop and go home. I’d also especially like to acknowledge the technical genius Andreas Fleischner, who never failed to come up with solutions for electronics and software problems, and Jan Harder, who helped greatly in finalizing the video-transmission component of the ThirdEye user interface and who took it upon him to read through the whole thesis and providing me with invalu- able feedback. But above all, my gratitude is owed to my family and friends, first and foremost my wife Sonja, who had to live with my frustration, doubts and panic attacks for four long years and who never ceases to support me. Visual Augmentation Methods for Teleoperated Space Rendezvous iii Table of Contents TABLE OF CONTENTS THESIS SCOPE ........................................................................................................................................