Acquisition, Transmission and Rendering of Objects with Optically Complicated Material Appearance

Abstract

A major goal in computer graphics is the generation of photorealistic images. Nowadays, the degree of realism is often not restricted by the rendering algorithm but instead mainly depends on the quality of the virtual scene description. Besides manual modeling by artists, the parameters of the virtual scene's objects can also be determined from measurements of real-world exemplars.<br /> In this thesis, we will explore the acquisition and faithful representation of whole objects, including their optical material properties. The applications for realistic virtual objects are manifold. They can be used as digital props in special effects in movies and computer games, for the documentation and public dissemination of cultural heritage over the Internet or as product previews in online shops, just to name a few examples.<br /> The key in our proposed digitization method is the choice of the bidirectional texture function (BTF) to convey the digital material appearance. The BTF defines the amount of reflected light - the reflectance - in dependence on view and light directions and spatial position. This provides a high degree of realism and allows to faithfully reproduce even tiny details. In contrast to so called "model-driven" methods, which derive the reflectance values from an analytical mathematical function with a few parameters, the BTF is a "data-driven" representation. Here, the reflectance is the result of direct interpolation between densely measured values.<br /> However, to describe the BTF with sufficient detail, it is necessary to capture billions of datapoints. For this reason, we first propose setups for the fast automated acquisition of these reflectance samples as well as the objects' 3D geometry. In both cases a precise calibration is mandatory. Hence, we explain the employed calibration algorithms in detail.<br /> The final digitized object is the result of a consecutive postprocessing on the measured data. Due to practical limitations of the setups, the sampling of the reflectance data is often incomplete. Hence, we propose to employ a data-driven hole filling approach based on matrix factorization.<br /> Our evaluation on 27 different objects with variations in shape and material demonstrates that the proposed digitization approach in general results in a very faithful reproductions of the original appearance. However, we also show the limitations of our method.<br /> Even after applying state-of-the-art compression algorithms, one major disadvantage of BTFs with respect to model-based techniques is the tremendous memory requirement. We thus propose two approaches for the transmission of BTF materials over the Internet and real-time rendering on the GPU that cope with the large amounts of data. Our experiments show that by using an additional compression as well as progressive transmission, digital materials can be streamed over the Internet and display a high-quality appearance after just a few seconds. Furthermore, we manage to reduce the GPU memory footprint by up to 97% using a clever level of detail strategy. This way, the GPU's memory bottleneck is mostly avoided and the real-time rendering of virtual scenes containing several digitized objects becomes possible.<br /> The different aspects tackled in this thesis complement each other. Together the proposed techniques form an ecosystem for digital object appearance that is practically applicable in many scenarios.

<strong>Aufnahme, Übertragung und Rendering von Objekten mit optisch kompliziertem Materialerscheinungsbild</strong><br /> Ein wichtiges Ziel der Computergrafik ist die Generierung fotorealistischer Bilder. Dabei hängt der Grad des Realismus heutzutage nicht mehr so sehr von den verwendeten Renderingverfahren, sondern vielmehr von der Qualität der Modellierung der virtuellen Szenen ab. Neben zeitaufwändiger manueller Erstellung durch einen Künstler können die Modelle und Parameter dieser Szenen auch durch Digitalisierung direkt von realen Vorbildern erfasst werden.<br /> In dieser Dissertation beschäftigen wir uns mit der Digitalisierung und fotorealistischen Darstellung von ganzen Objekten inklusive ihrer optischen Materialeigenschaften. Einsatzzwecke für realitätsgetreu darstellbare Objekte gibt es viele. Als Beispiele seien hier die Erstellung von virtuellen Requisiten für Spezialeffekte in Filmen und Computerspielen, die Katalogisierung und Präsentation von kulturellem Erbe im Internet oder Produktdarstellungen in Onlineshops genannt.<br /> In unserem Verfahren spielt vor allen Dingen die von uns gewählte Form der digitalen Materialrepräsentation durch eine bidirektionale Textur Funktion (BTF) eine Schlüsselrolle. Die BTF stellt den Anteil von reflektiertem Licht - die Reflektanz - positions- sowie blick- und lichtrichtungsabhängig dar. Dies ermöglicht einen sehr hohen Grad an Realismus sowie die akkurate Reproduktion von selbst kleinsten Oberflächendetails. Dabei ist die BTF eine sog. "datengetriebene"<br /> Repräsentation. Im Gegensatz zu "modellgetriebenen" Verfahren, welche die Reflektanz über analytische Funktionen mit einer Hand voll Parameter beschreiben, wird bei der Auswertung der BTF direkt zwischen gemessenen Datenpunkten interpoliert.<br /> Um die BTF einer Oberfläche in ausreichend hohem Detailgrad zu bestimmen, sind allerdings viele Milliarden Messpunkte notwendig. Deswegen präsentieren wir zunächst Aufbauten zur schnellen, automatisierten Aufnahme der notwendigen Reflektanzdaten sowie der 3D Geometrie der Objekte. Beides erfordert eine präzise Kalibrierung der Messgeräte. Die eingesetzten Algorithmen stellen wir im Detail vor.<br /> Aus den so ermittelten Messpunkten erstellen wir in einem Nachverarbeitungsschritt das eigentliche digitale Objekt. Aufgrund der praktischen Beschränkungen der Messaufbauten sind die ermittelten<br /> Reflektanzdaten an vielen Stellen unvollständig. Wir schlagen deswegen einen auf Matrixfaktorisierung basierenden Ansatz vor, um die Lücken datengetrieben aufzufüllen.<br /> Eine Evaluation des Ansatzes an insgesamt 27 digitalisierten Objekten mit unterschiedlichsten Formen und Materialien zeigt, dass die so gewonnenen Resultate das Erscheinungsbild der realen Objekte im Allgemeinen sehr gut reproduzieren. Wir zeigen aber auch Grenzen des Verfahrens auf.<br /> Ein großer Nachteil der aufwändigen BTF Repräsentation gegenüber modellbasierten Ansätzen ist der sehr hohe Speicherverbrauch - selbst nach Einsatz von aktuellen Kompressionsverfahren. Wir zeigen daher im Weiteren zwei Ansätze auf, mit denen man die großen Datenmengen für die Übertragung im Internet sowie für die Echtzeitdarstellung in den Griff bekommen kann. Unsere Experimente belegen, dass es möglich ist, die digitalisierten Materialien stärker zu komprimieren und progressiv zu übertragen, so dass innerhalb von wenigen Sekunden bereits eine sehr hohe Qualität der Reproduktion erreicht wird. Weiterhin gelingt es uns, durch geschicktes Level of Detail Rendering den tatsächlichen Speicherbedarf auf der GPU um bis zu 97% zu reduzieren und weitestgehend gering zu halten. Dies ergmöglicht auch die Echtzeitdarstellung von Szenen mit mehreren digitalisierten Objekten.<br /> Die zu den verschiedenen Teilaspekten vorgeschlagenen Verfahren in dieser Dissertation bauen aufeinander auf und ergänzen sich. Zusammengenommen bilden sie ein in vielen Situationen praktisch anwendbares Ökosystem rund um fotorealistische digitale Objekte.