Variational perspective shape from shading with minimal surface regularisation

Abstract

Shape from Shading (SfS) is a classical problem in Computer Vision. The goal of Shape from Shading is to compute the depth of a surface from a single image by positioning the surface normals in such a way, that the computed reflected brightness at each point matches the brightness the camera recorded. In Perspective Shape from Shading, the image is assumed to be taken by a pinhole camera. Prados and Faugeras [1] modelled the problem in terms of partial differential equations (PDEs). PDE-based approaches for SfS are very unreliable if the image is noisy. They also don't have the ability to fill areas where no brightness-information is available on the image. Variational methods have a smoothness term that can fill-in missing information and construct a smooth surface even if the input image is noisy. The direct variational method of Ju et al. [2] uses a reparametrised version of the model of Prados and Faugeras as data term and a regularisation of the Frobenius-norm of the Hessian as smoothness term. This thesis tests the impact of a different, first-order smoothness term: Minimal Surface Regularisation. This regulariser was formulated by Graber et al. [3] as smoothness term for stereo reconstruction. Due to its shape-based properties, it fits as smoothness term for Shape from Shading. This thesis investigates, how this smoothness term fits to the data term of Ju et al. Experiments show that the results gained from this method are quite good; however, not as good as the results of Ju et al.

Shape from Shading (SfS) ist ein klassisches Problem des Maschinensehens. Das Ziel von Shape from Shading ist es, die Tiefe einer Oberfläche eines einzelnen Bildes zu berechnen, indem die Oberflächennormalen so positioniert werden, dass die berechnete, zurückgeworfene Helligkeit an jedem Punkt mit der Helligkeit übereinstimmt, die die Kamera aufgezeichnet hat. In perspektivischem Shape from Shading wird angenommen, dass das Bild von einer Stecknadellochkamera aufgenommen wurde. Prados und Faugeras haben das Problem als partielle Differentialgleichung (partial differential equation, PDE) modelliert. PDE-basierte Ansätze für SfS sind sehr unzuverlässig, wenn das Bild verrauscht ist. Sie haben außerdem nicht die Fähigkeit, Bereiche zu füllen, in denen auf dem Bild keine Helligkeitsinformation verfügbar ist. Variationsansätze haben einen Glattheitsterm, der the fehlenden Informationen auffüllen und eine glatte Oberfläche selbst dann erstellen kann, wenn das Eingabebild verrauscht ist. Die direkte Variationsmethode von Ju et al. benutzt eine umparametrisierte Version des Models von Prados und Faugeras als Datenterm und eine Regularisierung der Frobeniusnorm der Hesse-Marix als Glattheitsterm. Diese Ausarbeitung testet den Einfluss eines anderen Glattheitsterms erster Ordnung: Minimaloberflächen-Regularisierung. Dieser Regularisierer wurde von Graber et al. als Glattheitsterm für Stereo-Rekonstruktion formuliert. Wegen seinen formbasierten Eigenschaften passt er als Glattheitsterm zu Shape from Shading. Diese Ausarbeitung untersucht, wie dieser Glattheitsterm zu dem Datenterm von Ju et al. passt. Experimente zeigen, dass die Ergebnisse dieser Methode ziemlich gut sind; jedoch nicht so gut, wie Ergebnisse von Ju et al.