Three-Dimensional Facial Measurement by Portrait Holography and Texture-Based Focus Detection
Total Page:16
File Type:pdf, Size:1020Kb
Three-dimensional facial measurement by portrait holography and texture-based focus detection Inaugural-Dissertation zur Erlangung des Doktorgrades der Mathematisch-Naturwissenschaftlichen Fakult¨at der Heinrich-Heine-Universit¨at Dusseldorf¨ vorgelegt von Susanne Frey aus Erlangen Dusseldorf¨ 2005 Referent: Prof. Dr. P. Hering Korreferent: Prof. Dr. G. Pretzler Tag der mundlichen¨ Prufung:¨ 7.7.2005 Gedruckt mit der Genehmigung der Mathematisch-Naturwissenschaftlichen Fakult¨at der Heinrich-Heine-Universit¨at Dusseldorf¨ Kurzfassung Die vorliegende Arbeit behandelt das Problem der automatischen dreidimensionalen Gesichts- vermessung unter Verwendung des reellen Bildes eines analogen Hologramms durch die Detektion des Bildkontrastes, der durch die naturliche¨ Struktur der Hautoberfl¨ache entsteht. Damit ist es zum ersten Mal m¨oglich, digitale Modelle von Gesichtsoberfl¨achen aus Portraithologrammen zu erstellen, die eine hochaufl¨osende Textur beinhalten, die pixelgenau der Oberfl¨ache zugeordnet werden kann. Die vorgestellten Verbesserungen des Systems erm¨oglichen zudem augensichere Aufnahmen des Gesichts. Diese beiden Aspekte sind von entscheidender Bedeutung fur¨ das Hauptanwendungsgebiet der holografischen Gesichtsvermessung, n¨amlich die Planung und Be- wertung von Operationen in der Mund-, Kiefer- und Gesichtschirurgie. Die Aufnahmen von Portraithologrammen werden mit einer holografischen Kamera durch- gefuhrt,¨ die mit einem gepulsten Laser arbeitet. Das reelle Bild der Objektwelle wird optisch rekonstruiert. Schnittbilder des dreidimensionalen reellen Bildes des Portraithologramms werden digital aufgezeichnet und numerisch ausgewertet. Das optische Auslesen des Hologramms wird im Rahmen dieser Arbeit durch die Kompensa- tion von Abbildungsfehlern verbessert. Durch die so erreichte laterale Aufl¨osung im reellen Bild (<100µm) ist es m¨oglich, einzelne Hautporen der Gesichtsoberfl¨ache kontrastreich darzustellen. Damit kann die bisher notwendige Musterprojektion zur Kontrastverst¨arkung vermieden werden. Das hat den entscheidenden Vorteil, dass Streuscheiben zur Beleuchtung des Gesichts verwendet werden k¨onnen, wodurch Augensicherheit bei der Aufnahme der Hologramme erreicht wird. Die Aufnahme der Schnittbilder des reellen Bildes wird verbessert, indem die bisherige Abbildung der Schnittbilder mittels einer Streuscheibe durch ein direktes Einlesen der Schnittbilder mit ei- nem CMOS Dokumentenscanner ersetzt wird. Weiterhin wird ein komplement¨ares Schema zur Bestimmung der Objektoberfl¨ache aus dem Hologramm untersucht, das auf Interferenz zwischen dem Referenzstrahl und dem virtuellen Bild des Referenzstrahls beruht. Zur Gewinnung der Objektoberfl¨ache aus einer Schnittbildserie des reellen Bildes wird digi- tale Bildverarbeitung angewendet. Ein Standardverfahren zur Fokusdetektion ist Kontrastma- ximierung in einer lokalen lateralen Pixelumgebung. Ein solches Verfahren wird in Verbindung mit r¨aumlicher Filterung zur Reduzierung von unscharfen Uberlagerungen¨ und Bildrauschen auf die holografischen Daten angewendet. Die Ergebnisse werden mit denen eines neu entwickelten Ansatzes verglichen, der auf der Detektion axialer Fokuseigenschaften beruht. Kontrastmaximie- rung liefert aufgrund der guten Robustheit gegenuber¨ Bildrauschen eine gute Ann¨aherung an die gesuchte Oberfl¨ache. Das Ergebnis kann dann durch axiale Fokusdetektion deutlich verfeinert werden. Als Ergebnis der beschrieben Prozedur werden texturierte Computermodelle der Gesichtso- berfl¨ache gewonnen. Als Textur, die den Modellen zugeordnet wird, dient die Helligkeitsinfor- mation aus dem reellen Bild an der Stelle der detektierten Oberfl¨ache. Zudem ist es nun auch m¨oglich, Computermodelle aus Spiegelbildern zu erstellen, die im Hologramm aufgenommen wer- den. So k¨onnen beispielsweise drei Ansichten eines Gesichts in einem einzigen Hologramm zeit- gleich aufgezeichnet und anschließend drei Computermodelle der Teilansichten gewonnen werden. Grunds¨atzlich lassen sich so auch Panorama-Aufnahmen eines Gegenstandes in einem einzigen Hologramm erfassen, wie anhand eines Testobjekts gezeigt wird. Schließlich werden Anwendungsbeispiele pr¨asentiert. Als typische medizinische Anwendung wird eine Epithesenanpassung vorgestellt. Die holografische Technologie kann kunftig¨ unter Ver- wendung einer mobilen Holografiekamera in gr¨oßerem Maßstab in Kliniken eingesetzt werden. Eine Anwendung aus dem Bereich der Arch¨aologie wird pr¨asentiert. Außerdem wird anhand eines konkreten Falls gezeigt, dass Weichgewebedaten aus holografischer Gesichtsvermessung zur Bewertung verschiedener Verfahren der forensischen Gesichtsrekonstruktion verwendet werden k¨onnen. Abstract This work presents three-dimensional metrology of the facial surface by detection of the natural skin contrast that appears in the real image of an analogue portrait hologram. For the first time, a holographic surface measurement method is presented that provides facial computer models including a high resolution texture that precisely matches the object surface. Furthermore, the presented improvements allow for eye-safe recordings of faces. Both aspects are crucial for the main purpose of holographic facial measurement, which is planning and evaluation of cranio-facial surgery. A holographic camera comprising a pulsed laser system is used to record portrait holograms. The real image of a portrait hologram is reconstructed optically. The real image volume is digitized by scanning projections of the real image. Digital image processing is applied to these sectional images to retrieve the object surface. The optical reconstruction of the holographic real image is improved in this work by introduc- ing a set-up that allows to compensate for image aberrations. High image resolution (<100µm) is achieved and hence skin pores appear in the real image and may be detected numerically. Thus pattern projection which was used in earlier work to enhance the image contrast becomes unnecessary. Consequently, it is possible to use diffusor plates to illuminate the face leading to eye-safe recordings. Digitization of the real image is improved by replacing the previous inter- mediate imaging step on a diffusing screen by a direct scan of the real image with a CMOS line scanner. Furthermore, a complementary focus detection scheme is investigated that uses inter- ference between the original reference beam and the virtual image of the reference beam as focus measure. Digital image processing is applied to detect the object surface in the scanned real image volume. A standard Shape-from-Focus technique uses contrast maximization in a local lateral pixel neighborhood. Such a procedure is tested in combination with spatial filtering for image deblurring and noise reduction. The results are compared to those of a newly developed focus detection method based on axial focus features. Contrast maximization yields a good first ap- proximation to the object surface and features a preferable robustness against image noise for large local pixel neighborhoods. It is demonstrated that a detected surface may be refined by axial focus detection for improved quality concerning surface smoothness and resolution. Three-dimensional facial models result from the described procedure. The intensity informa- tion from the real image at the position of the detected surface serves as high resolution texture information that is added to the surface models. Because this texture is taken from the real image of the hologram it matches the surface precisely without an intermediate registration step. It is also possible to gain computer models from mirror images that are recorded in the holo- gram. Textured computer models of a frontal view and two side views of a sitting person are presented which are recorded in a single shot hologram. In general, mirror arrangements may provide panoramic imaging in a single hologram as shown for a test object. Examples of applications of holographic facial measurement are presented. The adaption of an epithesis is given as an example of a medical application. The holographic technology may in future be used in hospitals employing a new mobile holographic camera. An example of archaeological imaging is presented. Finally it is shown that holographic facial measurement may contribute to the improvement of forensic facial reconstructions. The face of a real living person is reconstructed from medical CT data by several methods, and a holographic facial model of the person is used to evaluate the results. Contents 1 Introduction 1 1.1 Scientific holographic imaging ......................... 2 1.2 Medical facial imaging ............................. 4 1.3 Preceding work ................................. 5 1.4 Structure of the thesis ............................. 6 2 Theory of holographic imaging 8 2.1 Wavefront recording and reconstruction .................... 9 2.1.1 Plane and volume holograms ...................... 9 2.1.2 In-line and off-axis holography ..................... 11 2.1.3 Resolution of the recording material .................. 11 2.1.4 Intensity distribution on the hologram plate ............. 11 2.1.5 Amplitude and phase holograms .................... 12 2.1.6 Wavefield reconstruction ........................ 14 2.1.7 Diffraction efficiency .......................... 14 2.2 Laser source requirements ........................... 16 2.2.1 Complex degree of coherence ...................... 16 2.2.2 Fringe visibility ............................. 16 2.2.3 Spatial and temporal coherence .................... 17 2.2.4 Laser requirements