German Title: Lichtfelder Rekonstruktion von Geometrie und Reflektanzeigenschaften

Preview

PDF, English Download (10MB) | Terms of use

Abstract

Computer vision plays an important role in the progress of automation and digitalization of our society. One of the key challenges is the creation of accurate 3D representations of our environment. The rich information in light fields can enable highly accurate depth estimates, but requires the development of new algorithms.

Especially specular reflections pose a challenge for many reconstruction algorithms. This is due to the violation of the brightness consistency assumption, which only holds for Lambertian surfaces. Most surfaces are to some extent specular and an appropriate handling is central to avoid erroneous depth maps.

In this thesis we explore the potential of using specular highlights to determine the orientation of surfaces. To this end, we examine epipolar images in light field set ups. In light field data, reflectance properties can be characterized by intensity variations in the epipolar plane space. This space is analysed and compared to the expected reflectance, which is modelled using the render equation with different bidirectional reflection distribution functions.

This approach allows us to infer highly accurate surface normals and depth estimates. Furthermore, it reveals material properties encoded in the reflectance by inspecting the intensity profile.

Our results demonstrate the potential to increase the accuracy of the depth maps. Multiple cameras in a light field set up let us retrieve additional material properties encoded in the reflectance.

Translation of abstract (German)

Maschinelles Sehen spielt eine wichtige Rolle im Fortschritt der Automatisierung und der Digitalisierung in unserer Gesellschaft. Die Konstruktion exakter 3D-Modelle ist dabei eine zentrale Herausforderung. Das Lichtfeld beschreibt dabei für jeden Raumpunkt und jeden Raumwinkel die Lichtstrahlen. Diese Datenfülle die Lichtfelder bieten erlaubt präzise Tiefenschätzungen, erfordert aber auch die Entwicklung neuer Algorithmen.

Insbesondere spekulare Reflexionen bereiten existierenden Algorithmen Probleme. Der Grund dafür liegt in der vereinfachenden Annahme der meisten Algorithmen, dass die Helligkeit eines Objektpunktes konstant über verschiedene Ansichten bleibt. Die meisten Oberflächen erzeugen teilweise spekulare Reflektionen, was bei der Erstellung von Tiefenkarten berücksichtigen werden muss.

In dieser Arbeit entwickeln wir verbesserte Algorithmen, die basierend auf Glanzlichtern die Oberflächenneigung schätzen. Dazu werden Epipolarbilder untersucht, die mit Lichtfeldaufbauten gewonnen werden. Lichtfelder bieten die Möglichkeit, Reflektionseigenschaften anhand von Intensitätsvariationen im Epipolarraum zu charakterisieren. Dieser Raum wird analysiert und mit der erwarteten Reflektanz verglichen, die mit Hilfe der Rendergleichung und verschiedenen bidirektionalen Reflektanzverteilungsfunktionen modelliert wird. Damit können nicht nur hoch präzise Oberflächennormalen und Tiefenkarten bestimmt werden, sondern auch Materialeigenschaften, welche in den Reflexionscharakteristiken enthalten sind.

Die Ergebnisse dieser Arbeit zeigen, dass mit den neuen Algorithmen genauere Tiefenkarten erstellt und zusätzlich Materialeigenschaften gemessen werden können, wenn mehrere Kameras in einem Lichtfeldaufbau benutzt werden.