Diss. ETH No. 16664 Representation and Rendering of Implicit Surfaces A dissertation submitted to ETH Zurich for the Degree of Doctor of Sciences presented by Christian Sigg Dipl. Rechn. Wiss. ETH Zurich, Switzerland born 4. March 1977 citizen of Switzerland accepted on the recommendation of Markus Gross, examiner Mark Pauly, co-examiner 2006 ii Abstract Implicit surfaces are a versatile representation of closed manifolds for modeling, simulation and rendering. They are defined as the isocontour of a volumetric scalar function, which allows intuitive handling of complex topology. Surfaces deformed by physics-based simulation or modeling operations can undergo large changes including tearing and merging without loosing their consistent definition or producing self-intersections or holes. Implicit surfaces can be rendered directly from their volumetric representation with a ray-casting approach, or they can be converted to a parametric representation like triangle meshes for display. This thesis focuses on different approaches for representing the scalar func- tion which defines the implicit surface and methods to render the surface directly from those representations with real-time performance. A fundamental concept of the algorithms presented in this thesis is to harness the computational power of consumer graphics hardware. Their highly parallel design provides the work- ing ground for very efficient processing and rendering of implicit surfaces. The main obstacle for such algorithms is to comply with the rendering APIs and hard- ware restrictions of current generation hardware, which are designed for triangle rasterization. In computer graphics, arbitrary functions are most commonly discretized as a regular grid of sample values. Sampling and reconstruction of a continuous func- tion have been studied extensively in signal processing theory. One fundamental result that can also be applied to implicit surfaces, specifies the sampling fre- quency required to faithfully capture fine detail in the input data. For intricate objects, a dense regular grid of sufficient resolution can become challenging in terms of memory requirement and processing power. However, for the small reconstruction kernels commonly used, most of the sam- ples do not contribute to the actual surface shape, but only serve as a binary inside- outside classification. Adaptive sampling can be used to reduce the sampling den- sity in those regions where accurate reconstruction is not required. The octree provides a semi-regular sampling that can significantly reduce storage require- ments without sacrificing accuracy in critical areas containing fine surface detail. The semi-regular structure was employed to develop a hashed octree which can be more efficient in terms of performance and memory footprint than the common pointer-based variant. To increase numerical stability, the surfaces deformed by the levelset method are represented by a field with constant gradient length. The signed distance iii Abstract transform computes such a field from a triangle mesh and comes in two different varieties. For random or semi-regular sampling, a kD-tree is used to accelerate the closest triangle search. A slight variation of the tree construction is presented which allows more efficient proximity queries and could be beneficial for many other kD-tree applications. For regular sampling in a neighborhood of the surface, an algorithm based on scan conversion of geometric primitives which bound the Voronoi cells of the triangle mesh has proven to be competitive. The rasterization- hardware of graphics cards provides potential to speed up the process. To employ its full performance, an alternative construction of the bounding volumes is pre- sented which avoids the transfer bottleneck of geometry data. Reconstruction of a continuous function from a regular set of samples is a fun- damental process in computer graphics, for example in texture filtering. A tradeoff between performance and quality has to be made, because higher order reconstruc- tion kernels require larger reconstruction filters. Cubic filters provide sufficient quality for offline rendering, but are usually considered too slow for real-time ap- plications. Building on hardware-accelerated linear filtering, a fast method for cubic B-Spline filtering is presented which evaluates large filter kernels with a moderate amount of texture fetches. The performance of graphics hardware can be leveraged to perform real-time ray-casting of implicit surfaces directly from their volumetric representation. A two-level hierarchical representation is used to circumvent memory limitations of graphics cards and to perform empty space skipping. By using the higher order re- construction filters, smooth geometric properties of the isosurface, such as normal and curvature can be extracted directly from the volumetric representation. These local shape descriptors can be used to compute a variety of non-photorealistic ren- dering effects. Due to the deferred shading pipeline, even complex shading modes can be evaluated in real-time. Quadratic surfaces are a common rendering primitive and have a very compact implicit definition. However, they are usually tessellated for rendering because graphics cards lack support for non-linear rasterization. A hardware-accelerated rendering method based on the implicit surface definition is presented, which uses a mixture between rasterization and ray-casting. The efficiency of the approach is demonstrated by a molecule renderer which employs smooth shadows and silhou- ette outlining to improve the spatial perception of the molecular structure. iv Kurzfassung Implizite Flächen sind eine vielfältige Repräsentation von geschlossenen Man- nigfaltigkeiten für Modellierung, Simulation und Rendering. Sie sind definiert als Isokontur einer volumetrischen skalaren Funktion, welche eine intuitive Be- handlung von komplexen Topologien erlaubt. Flächen, die mittels physikalisch basierter Simulationen oder Modellierungsoperationen deformiert werden, kön- nen sich stark verändern – einschliesslich Zerreissen und Zusammenschmelzen –, ohne dabei ihre konsistente Definition zu verlieren oder Selbstdurchdringungen oder Löcher zu produzieren. Implizite Flächen können mit einem Ray-Casting- Ansatz direkt aus der volumetrischen Repräsentation gerendert werden, oder sie können für die Darstellung in eine parametrische Repräsentation wie zum Beispiel Dreiecksnetze überführt werden. Die vorliegende Dissertation konzentriert sich auf verschiedene Ansätze für die Repräsentation der skalaren Funktion, welche die implizite Fläche definiert, sowie die Methoden, die Flächen direkt aus dieser Repräsentation in Echtzeit darzustellen. Ein grundlegendes Konzept der hier präsentierten Algorithmen ist die Nutzbarmachung der Rechenleistung von Grafikhardware. Ihre hochparal- lele Architektur ermöglicht die effiziente Bearbeitung und Darstellung von im- pliziten Flächen. Das grösste Hindernis für die Implementation derartiger Algo- rithmen stellen die bestehenden APIs und die Restriktionen der heutigen Hard- ware dar, welche primär für das schnelle Rasterisieren von Dreiecksnetzen ent- worfen wurde. In der Computergrafik werden beliebige Funktionen meistens auf einem reg- ulären Gitter von Funktionswerten diskretisiert. Sampling und Rekonstruktion von kontinuierlichen Funktionen sind in der Theorie der Signalverarbeitung ex- tensiv studiert worden. Ein fundamentales Resultat, welches auch für implizite Flächen angewendet werden kann, spezifiziert die Samplingdichte, welche für die wahrheitsgetreue Erfassung feiner Details der Eingabedaten notwendig ist. Bei komplexen Objekten kann ein reguläres Sampling in ausreichender Auflösung je- doch die Grenzen von Arbeitsspeicher und Prozessorleistung überschreiten. Allerdings hat bei den verbreiteten kompakten Rekonstruktionsfiltern nur eine geringe Anzahl an Samples einen Einfluss auf die Form der Oberfläche, während der grösste Teil lediglich der binären Innen-aussen-Klassifikation dient. In den Regionen, welche keine genaue Rekonstruktion erfordern, kann mittels eines adaptiven Samplings die Samplingdichte reduziert werden. Der Octree bietet v Kurzfassung ein semireguläres Sampling, das den Speicherbedarf signifikant verringert, ohne dass kritische Regionen mit feinen Oberflächendetails an Genauigkeit verlieren. Die semireguläre Struktur wurde dabei eingesetzt, um einen gehashten Octree zu implementieren, welcher in Bezug auf den Speicherbedarf und die Leistung effizienter ist als herkömmliche, Pointer-basierte Varianten. Um die numerische Stabilität zu erhöhen, werden Flächen bei einer Levelset- Deformation mit einer Funktion konstanter Gradientenlänge repräsentiert. Die Distanz-Transformation berechnet ein solches Feld aus einem Dreiecksnetz. Für die Berechnung eines semiregulären Samplings der Distanzfunktion wird in der Regel ein kD-Baum benutzt, um die Suche nach dem nächsten Primitiv im Drei- ecksnetz zu beschleunigen. In der vorliegenden Arbeit wird eine Variation dieser Baumkonstruktion präsentiert, welche eine effizientere Nachbarschaftssuche er- möglicht und auch für andere kD-Baum-Anwendungen von Nutzen sein könn- te. Für die Evaluation eines regulären Samplings in der Nähe der Oberfläche hat sich ein Algorithmus als effizient erwiesen, der auf der Scan-Konvertierung von geometrischen Primitiven basiert, welche die Voronoi-Zellen des Dreiecks- netzes umschliessen. Die Rasterisierungseinheit von Grafikkarten birgt das Poten- zial, diesen Algorithmus zu beschleunigen. Um die Beschränkung der Trans- ferrate zu umgehen, wird