Real-time Rendering of Measured Materials DIPLOMARBEIT zur Erlangung des akademischen Grades Diplom-Ingenieur im Rahmen des Studiums Visual Computing eingereicht von Thomas Mühlbacher Matrikelnummer 0625075 an der Fakultät für Informatik der Technischen Universität Wien Betreuung Betreuer: Associate Prof. Dipl.-Ing. Dipl.-Ing. Dr.techn. Michael Wimmer Mitwirkung: Dipl.-Ing. Dr. Robert F. Tobler Wien, 13.12.2012 (Unterschrift Verfasser) (Unterschrift Betreuer) Technische Universität Wien A-1040 Wien Karlsplatz 13 Tel. +43-1-58801-0 www.tuwien.ac.at Erklärung zur Verfassung der Arbeit Thomas Mühlbacher Harrachgasse 1/18, 1220 Wien Hiermit erkläre ich, dass ich diese Arbeit selbständig verfasst habe, dass ich die verwen- deten Quellen und Hilfsmittel vollständig angegeben habe und dass ich die Stellen der Arbeit – einschließlich Tabellen, Karten und Abbildungen –, die anderen Werken oder dem Internet im Wortlaut oder dem Sinn nach entnommen sind, auf jeden Fall unter Angabe der Quelle als Entlehnung kenntlich gemacht habe. (Ort, Datum) (Unterschrift Verfasser) i ii Acknowledgements I wish to thank the following people and institutions for making this work possible: the VRVis research center in Vienna for allowing me to be a part of the fascinating HILITE- project by incorporating my thesis. In particular, Robert F. Tobler for guidance throughout the entire project, him and Michael Schwärzler for reviewing this thesis and providing in- valuable feedback, and Christian Luksch for advice, discussions and technical help during the implementation. The project partners Zumtobel and Hefel Wohnbau for providing ma- terial measurement data and test scene geometry. I would also like to thank my supervisor at the Institute of Computer Graphics and Algorithms at the Vienna University of Technology, Michael Wimmer, for valuable feed- back and input during all stages of writing this thesis. The entire institute of Computer Graphics and Algorithms for marvellous teaching, reliability and fast aid in any scientific or organizational affairs. My fellow students, friends and colleagues, especially the Computer Graphics club for enlightening discussions and suggestions. Personal thanks go out to my family for supporting my studies and finally to my partner M.-Kathleen Jimenez for enduring me during this work-intensive period, reviewing impor- tant sections of my thesis and also for supporting and reassuring me in moments of doubt and frustration during this work. Thank you! iii Abstract Interactive walkthroughs of virtual scenes are not only common in fictional settings such as entertainment and video games, but also a popular way of presenting novel archi- tecture, furnishings or illumination. Due to the high performance requirements of such interactive applications, the presentable detail and quality are limited by the computational hardware. A realistic appearance of materials is one of the most crucial aspects to scene im- mersion during walkthroughs, and computing it at interactive frame rates is a challenging task. In this thesis an algorithm is presented that achieves the rendering of static scenes fea- turing view-dependent materials in real-time. For walkthroughs of static scenes, all light propagation but the last view-dependent bounce can be precomputed and stored as diffuse irradiance light maps together with the scene geometry. The specular part of reflection and transmission is then computed dynamically by integrating the incident light approx- imatively according to view and local material properties. For this purpose, the incident radiance distribution of each object is approximated by a single static environment map that is obtained by rendering the light-mapped scene as seen from the object. For large planar reflectors, a mirror rendering is performed every frame to approximate the incident light distribution instead of a static environment map. Materials are represented using a para- metric model that is particularly suitable for fitting to measured reflectance data. Fitting the parameters of a compact model to material measurements provides a straightforward approach of reproducing light interactions of real-world substances on a screen. During walkthroughs, the view-dependent part of the local illumination integral is ap- proximated by sampling the representation of incident light while weighting the samples according to the material properties. Noise-free rendering is achieved by reusing the exact same sampling pattern at all pixels of a shaded object, and by filtering the samples using MIP-maps of the incident light representation. All available samples are regularly placed within the specular lobe to achieve a uniform symmetric coverage of the most important part of the integration domain even when using very few (5-20) samples. Thus, the proposed al- gorithm achieves a biased but stable and convincing material appearance at real-time frame rates. It is faster than existing random-based sampling algorithms, as fewer samples suffice to achieve a smooth and uniform coverage of specular lobes. iv Kurzfassung Interaktive Rundgänge durch virtuelle Szenen sind ein beliebtes Werkzeug zur Präsen- tation neuartiger Architektur, Einrichtung oder Innenraumbeleuchtung. Für eine hinre- ichende Szenenimmersion während solcher Rundgänge ist eine realistische Darstellung von Materialien unverzichtbar, diese in Echtzeit zu berechnen ist jedoch eine große technis- che Herausforderung. In dieser Arbeit wird ein Algorithmus vorgestellt, der das Echtzeit- Rendering von blickwinkelabhängigen Materialien in statischen Szenen ermöglicht. Für statische Szenen kann die globale blickpunktunabhängige Lichtausbreitung in einem Vorver- arbeitungsschritt berechnet und abgespeichert werden. Lediglich der letzte Schritt, in dem ermittelt wird, wieviel Licht der Szene schließlich das Auge erreicht, wird mithilfe des vorgestellten Algorithmus zur Laufzeit berechnet. Der diffuse Anteil wird direkt aus der vorberechneten Bestrahlungsstärke abgeleitet, der blickpunktabhängige spiegelnde Teil von Reflektion und Transmission wird durch näherungsweise Integration des einfallenden Lich- tes gemäß den Materialeigenschaften ermittelt. Die Verteilung des einfallenden Lichts wird für gekrümmte Flächen als environment map der eintreffenden Strahldichte gespeichert. Für große ebene Flächen wird die Szene vor der Berechnung jedes Bildes zunächst von einer gespiegelten Kamera aus in einen Zwischenspeicher gerendert, welcher dann als näherungs- weise Repräsentation der einfallenden Beleuchtung dient. Materialeigenschaften werden in dieser Arbeit durch ein parametrisches Modell ausgedrückt, welches sich besonders zur Anpassung (Fitting) an reale gemessene Lichtstreudaten eignet. Zur Laufzeit wird der blickpunktabhängige Teil der lokalen Beleuchtung durch Sam- pling (Abtasten) der einfallenden Beleuchtungsrepräsentation unter Gewichtung der Sam- ples nach den Materialeigenschaften angenähert. Ein rauschfreies Bild wird durch Wieder- verwendung des exakt gleichen Abtastmusters an allen Punkten eines Objekts und zusät- zliches Filtern der eingehenden Strahldichte erreicht. Die einfallende Beleuchtung wird regelmäßig, symmetrisch und ausschließlich im Bereich des specular lobe abgetastet, um eine möglichst uniforme Abdeckung des wichtigsten Integrationsbereichs auch bei sehr geringer Abtastauflösung zu erzielen. Dadurch produziert der Algorithmus eine physika- lisch inkorrekte aber glaubwürdige Darstellung von blickpunktabhängigen Materialien in Echtzeit. Das Verfahren ist schneller als bestehende zufallsbasierte Sampling-Methoden, da weniger Samples nötig sind um eine rauschfreie und gleichmäßige Abdeckung der spec- ular lobes zu erzielen. Contents Acknowledgements ii Abstract iii Kurzfassung iv Contents v 1 Introduction 1 1.1 Motivation . 2 1.2 Application framework . 3 1.3 Overview . 4 1.4 Contributions . 6 1.4.1 Obtaining a compact material representation from measured data . 6 1.4.2 Extension of an existing BRDF model to support transmission . 6 1.4.3 Real-time integration of incident lighting . 6 1.4.4 Representing and sampling incident light . 7 1.5 Organization of this thesis . 8 2 Theoretical Foundations 9 2.1 The rendering problem . 10 2.2 Material optics . 11 2.2.1 Quantifying scattering properties - the BSDF . 12 2.2.2 Physical plausibility . 12 2.2.3 Diffuse and specular reflection . 13 2.2.4 The Fresnel effect . 15 2.3 Material measurement . 17 2.4 Monte-Carlo integration . 18 3 Material Representation 21 3.1 Related work . 22 3.2 Direct measurement evaluation for photon bounce simulation . 26 3.3 A BSDF model for fast integration . 29 3.3.1 Representing transmission distributions . 32 v vi Contents 3.4 Implementation, results and limitations . 34 3.4.1 Fitting the BSDF model . 34 3.4.2 Fitting results and limitations . 38 4 Material Rendering 49 4.1 Related work . 50 4.2 Algorithm overview . 54 4.3 Rendering diffuse reflection . 57 4.4 Rendering specular reflection on curved surfaces . 59 4.4.1 Representing incident light as a cubic environment map . 59 4.4.2 Unbiased integration of incident light . 63 4.4.3 Approximating the specular integral for real-time walkthroughs . 69 4.5 Rendering specular reflection on planar surfaces . 85 4.5.1 Representing incident light by a mirror rendering . 85 4.5.2 Generating illumination samples using the mirror buffer . 88 4.5.3 Deterministic sampling pattern and filtering for real-time walkthroughs 93 4.6 Implementation, results and limitations . 96 4.6.1 Implementation and testing environment . 96 4.6.2 Performance and visual quality