Diss. ETH No. 20579 Methods for Artistic Stylization in 3D Animation A dissertation submitted to ETH Zurich for the Degree of Doctor of Sciences presented by Johannes Schmid MSc ETH CS, Switzerland born 26 Mar 1982 citizen of Switzerland accepted on the recommendation of Prof. Dr. Markus Gross, examiner Prof. Dr. Adam Finkelstein, co-examiner Dr. Robert W. Sumner, co-examiner 2012 Abstract This thesis presents new methods for artists to have direct control on the vi- sual style of computer animations, in order to let more of their creative energy penetrate the production pipeline to the final result. A focus is put on the development of a comprehensive system for the authoring and rendering of painterly 3D character animation. We build on the concept of stroke based rendering and contribute to the field in various aspects. We show how the brush stamping method for brush stroke rendering can be adapted to 3D stroke based rendering. The classic form of this method is used in many 2D digital painting applications, but the deformations and perspective properties and the rendering requirements in stroke based rendering call for extensions of the original algorithm. A persistent challenge in 3D stroke based rendering is to reconcile the depth order of paint strokes with the order in which they were painted. We present two new approaches to this problem, one of which guaran- tees temporal and spatial coherence to produce high-quality images, while the other is well suited for hardware acceleration and achieves interactive rendering performance. Strokes painted in a 2D viewport window must be embedded in 3D space in a way that gives creative freedom to the artist while maintaining a high level of controllability. We address this challenge with a three-dimensional canvas defined implicitly by a scalar field. The artist shapes the implicit canvas with 3D proxy geometry and subsequent sculpting operations. An optimization pro- cedure is then used to embed paint strokes in space by minimizing different objective criteria. This functionality allows us to implement tools for painting along level set surfaces or across different level sets of the scalar field. We show how 3D stroke-based paintings can be deformed using standard rig- ging tools and propose a configuration-space keyframing algorithm for author- ing stroke effects that depend on scene variables such as character pose or light position. Our system supports temporal keyframing for one-off effects during an animation. In order to ensure smooth keyframe interpolation in a high- dimensional configuration space, we develop a novel interpolation algorithm that avoids undesired stuttering artifacts when multiple keyframes are used. Finally, we experiment the depiction of motion as a first-class entity in a tradi- tional 3D rendering process. We extend the concept of a surface shader, which is evaluated on an infinitesimal portion of an object’s surface at one instant in time, to that of a programmable motion effect, which is evaluated with global knowledge about all portions of an object’s surface that pass in front of a pixel during an arbitrary long sequence of time. With this added information, our programmable motion effects can decide to color pixels long after (or long be- fore) an object has passed in front of them. In order to compute the input iii required by the motion effects, we propose a 4D data structure that aggregates an object’s movement into a single geometric representation by sampling an object’s position at different time instances and connecting corresponding edges in two adjacent samples with a bilinear patch. iv Zusammenfassung In dieser Arbeit werden neue Methoden für die direkte artistische Kontrolle über den visuellen Stil von Computeranimationen präsentiert. Das Ziel ist es, zu ermöglichen, dass mehr von der kreative Energie in Konzeptmalereien den Weg durch die Produktions-Pipeline zum schlussendlichen Resultat finden kann. Der Fokus der Arbeit liegt auf der Entwicklung eines umfassenden Systems für die Ausarbeitung und Darstellung von zeichnerischen 3D-Animationen für Figuren. Das System baut auf der Technik des zeichenstrich-basierten Render- ings auf, welche in dieser Arbeit in zentralen Punkten weiterentwickelt wird. Wir zeigen, wie die Stempel-Methode für das Malstrich-Rendering an die An- forderungen der Gegebenheiten im dreidimensionalen Raum angepasst werden kann. Die klassische Ausführung dieser Methode wird in vielen digitalen 2D- Malprogrammen verwendet. Im Rahmen des zeichenstrich-basierten Rendering werden Aufgrund der Deformationen und perspektivischen Eigenschaften sowie der Darstellungstechnik jedoch gewisse Erweiterungen notwendig. Ein bekan- ntes Problem im zeichenstrich-basierten 3D-Rendering ist die Konkurrenz von zwei Kriterien für die Darstellungsreihenfolge der Malstriche: Die Zeichnungsrei- henfolge und die dreidimensionale Sichtbarkeitsreihenfolge. Wir führen zwei neue Lösungsansätze zu diesem Problem ein, von welchen der eine temporale und räumliche Glattheit garantiert und dadurch hochqualitative Bilder gener- iert, während der andere dank guter Kompatibilität mit Grafikbeschleunigern interaktive Darstellungsraten ermöglicht. Digitale Malstriche, die mit einem zweidimensionalen Eingabegerät appliziert werden, müssen für die Verwendung in 3D-Animationen im dreidimensionalen Raum eingebettet werden. Unsere Anforderung an diesen Einbettungsvorgang ist, dass er dem Anwender einen hohen Grad an künstlerischer Freiheit bietet und trotzdem gut kontrollierbar bleibt. Unser Lösungsansatz zu diesem Prob- lem ist eine dreidimensionale “Leinwand”, welche implizit durch ein Skalarfeld definiert ist. Das Skalarfeld wird als Distanzfeld zu einfachen 3D-Modellen initialisiert und kann anschliessend mit formgebenden Hilfsmitteln bearbeitet werden. Malstriche werden in diesem Skalarfeld durch ein mathematisches Op- timierungsverfahren eingebettet, in welchem verschiedene Kriterien gegeneinan- der abgewogen werden können. Dadurch können auf einfache Art verschiedene Einbettungsmethoden realisiert werden. Für die Animation von solchen 3D-Gemälden werden zwei sich ergänzende Tech- niken erläutert: Mittels einer Rigging-Methode können die Malstriche gemäss der Animation des dem Skalarfeld zugrundeliegenden 3D-Modells deformiert werden. Detailierte Effekte, die über die Animation der 3D-Modelle hinaus- gehen, können mittels Schlüsselbildanimation in Bezug auf den Konfigura- tionsraum der Animation erreicht werden. Für die Gewährleistung der glatten Schlüsselbild-Interpolation im hochdimensionalen Konfigurationsraum wurde v eine neuartige Interpolationsmethode entwickelt, die unerwünschte Stotter- Artefakte bei mehreren kolinearen Schlüsselbildpositionen verhindert. Zuletzt wird eine neuartige Rendering-Technik zur Darstellung von Bewegung in Einzelbildern präsentiert. Das Konzept von programmierbaren Oberflächen- schattierern, mit welchen das Aussehen eines einzelnen Ortes zu einem bes- timmten Zeitpunkt berechnet werden kann, wird um die Zeitdimension zu “Bewegungseffektprogrammen” erweitert, welche das Aussehen eines auf der Bildfläche liegenden Punktes mittels dem Wissen um sämtliche geometrische Örter, welche innerhalb eines beliebigen Zeitbereichs durch den Bildpunkt sicht- bar waren, berechnen. Dank dieser zusätzlichen Informationen können Bewe- gungseffektprogramme den Bildpunkt anhand von vergangenen oder zukünfti- gen Ereignissen einfärben, und dadurch traditionelle Bewegunseffekte wie Be- wegungslinien und Bewegungsunschärfe reproduzieren. Die benötigten Infor- mationen werden mittels einer neuartige 4D-Datenstruktur berechnet, welche die Bewegung eines Objekts auf geometrische Art und Weise aggregiert, in- dem Kopien des Objekts zu unterschiedlichen Zeitpunkten zusammengefügt und deren Kanten mit bilinearen Interpolationsflächen verbunden werden. vi Acknowledgements I wish to thank my advisor Prof. Markus Gross for establishing such an excellent research environment and for making it possible for me to be a part of it. With their guidance and expert advice, Prof. Gross and my direct supervisor Dr. Robert Sumner have equipped me with the skills and intuitions necessary to contribute to the science of computer graphics. For me, the biggest challenge during my doctoral studies was finding the mo- tivation to continue when path and outcome were uncertain and the chance of success seemed slim. Bob Sumner has always managed to bring me back on track in these situations, for which I am deeply grateful. He taught me how to approach difficult problems, which is probably the biggest lesson I am taking away from my dissertation. A substantial amount of the work presented in this thesis was done with the help of excellent student collaborators. I would especially like to thank Huw Bowles, Martin Senn, and Katie Bassett for their central contributions, but also Claudia Kuster, Thomas Siegrist, and Philipp Simmler for their support in various parts of our work. Another collaborator who I am greatly indebted to is Dr. Ilya Baran, who was never reluctant to part with bits of his enormous knowledge of computer science and mathematics when I sought his advice. Gerhard Röthlin has contributed to the OverCoat software with many features and bugfixes, and has greatly improved the overall software architecture. I have learned a lot about the problems we worked on in talking to people at the Walt Disney Animation Studios and Pixar. I would especially like to thank Dan Teece for his support of our projects, and Rasmus Tamstorf for providing support with respect to the Maya API and other matters.