Automatische Ableitung und Anwendung von Regeln für die Rekonstruktion von Fassaden aus heterogenen Sensordaten

Abstract

3D-Stadtmodelle finden seit einigen Jahren in immer stärkerem Maß und in den verschiedensten Bereichen Verwendung. Sie bilden unter anderem die Grundlage bei Stadtplanungen, für virtuelle Stadtrundgänge oder für die Berechnung von Simulationen. Internetdiensten wie Google Earth oder Microsoft Bing Maps ist es zu verdanken, dass 3D-Darstellungen von Gebäuden mittlerweile auch für eine breite Öffentlichkeit allgegenwärtig sind. Die erhöhte Nachfrage nach 3D-Gebäudemodellen verlangt nach effizienten Rekonstruktionsmethoden, die sich vor allem durch einen hohen Automationsgrad auszeichnen. Als Datengrundlage werden häufig luftgestützt erfasste LiDAR-Punktwolken oder Bilder eingesetzt. In der Natur dieser Daten liegt es begründet, dass die daraus rekonstruierten Gebäude üblicherweise zwar detaillierte Dachstrukturen, aber ebene, nicht ausmodellierte Fassadenflächen besitzen. Neue Trends in der Computergraphik, der Unterhaltungsindustrie oder im Bereich der Navigationssysteme treiben jedoch die Entwicklung wesentlich komplexerer und realistischerer Modelle voran. Der geforderte Detailreichtum ist dabei nicht auf die geometrische Ausgestaltung der Gebäudefassaden beschränkt, sondern bezieht ebenso den semantischen Informationsgehalt mit ein. Die für das Anreichern ebener Fassadenflächen notwendige Strukturinformation wird in der Regel aus terrestrisch erfassten LiDAR-Punktwolken oder Bilddaten abgeleitet. Rein datengetriebene Auswertungen führen nur bei qualitativ hochwertigen Messungen zu sicheren und realitätsnahen Ergebnissen. Je nach Aufnahmekonfiguration und Sensorgenauigkeit weisen Datensätze jedoch häufig eine heterogene Qualität bezüglich Genauigkeit, Abdeckung und Dichte auf. Dies gilt sowohl für Daten aus hoch spezialisierten Messsystemen, wenn beispielsweise Sichthindernisse zu partiellen Verdeckungen führen, als auch insbesondere für Daten aus kostengünstigen, einfach einsetzbaren Sensoren. Um auch im Fall unscharfer oder unvollständiger Sensordaten realistische 3D-Geometrien erzeugen zu können, muss die Rekonstruktion durch Objektwissen gestützt werden. Entsprechende Algorithmen integrieren Wissen beispielsweise in Form vordefinierter Regelsysteme, die eine prozedurale Modellierung von Gebäudestrukturen in einem bestimmten vorgegebenen architektonischen Stil erlauben. Ziel der Arbeit ist die Verfeinerung bestehender grober Gebäuderepräsentationen, indem Fassadenelemente wie Fenster oder Türen in Form expliziter 3D-Geometrien mit bekannter Semantik integriert werden. Die Fassadenrekonstruktion soll vollautomatisch ablaufen und robust gegenüber fehlerhaften und unvollständigen Sensordaten sein. Zudem soll sie möglichst wenig vordefinierten Regeln unterworfen sein. Realisiert wird dies über eine Kombination datengetriebener und wissensbasierter Methoden. Die datengetriebene Komponente beruht im Wesentlichen auf der Interpretation terrestrischer LiDAR-Daten und auf dem Prinzip der Zellenzerlegung. In Gebäudebereichen mit guter Sensordatenqualität werden 3D-Fassadengeometrien extrahiert. Sie repräsentieren für das jeweilige Gebäude charakteristische Strukturen und dienen somit als eine Art Wissensbasis, aus der eine formale Grammatik, eine sogenannte Fassadengrammatik, automatisch abgeleitet werden kann. Durch eine Segmentierung der Fassade in semantisch homogene Regionen werden in einem ersten Schritt die Grundbausteine der Grammatik, die Terminale, bestimmt. Ausgedrückt als eine Sequenz von Terminalen kann die Fassade anschließend über einen stringbasierten Algorithmus auf wiederkehrende und hierarchische Strukturen untersucht werden. Die erkannten Strukturen werden automatisch in Produktionsregeln überführt; die Fassadengrammatik ist damit vollständig bestimmt. Sie enthält die Information, die zur Rekonstruktion von Gebäuden im Stil der beobachteten Fassade notwendig ist. Durch Anwendung der Produktionsregeln kann sie genutzt werden, um selbst für solche Fassadenbereiche realistische Fassadenstrukturen zu generieren, die entweder gar nicht beobachtet wurden oder mit Sensordaten von nur ungenügender Qualität abgedeckt sind. Das Potenzial des vorgestellten Ansatzes wird anhand von Ergebnissen aufgezeigt. Für die Bewertung der erzeugten Fassadenmodelle werden Qualitätsmetriken bereitgestellt, über die sich eine Aussage treffen lässt, wie gut das architektonische Erscheinungsbild des jeweiligen Gebäudes wiedergegeben ist. Das Verfahren zur Fassadenrekonstruktion erweist sich als geeignet, um mit Beobachtungsdaten heterogener Qualität umzugehen, und ist darüber hinaus flexibel hinsichtlich der darstellbaren Fassadenstrukturen.

3D city models are of growing interest in various application areas. For instance, they are the basis for city planning, virtual sightseeing tours or simulations. Meanwhile, due to internet services such as Google Earth or Microsoft Bing Maps, 3D representations of buildings are becoming ubiquitous and find their way to the general public. The increasing demand for 3D building models requires efficient reconstruction techniques with a high degree of automation. Mostly generated from airborne LiDAR or image data, building models usually feature detailed roof shapes but planar, unstructured façades. However, new developments in the areas of computer graphics, the entertainment industry or navigation systems push the demand for more complex and realistic models. The desired amount of detail is not limited to geometric aspects, but also includes semantic information. In this context, knowledge about the functionality of different façade parts is an important aspect. Frequently, terrestrial LiDAR point clouds and images are used to extract high resolution building structures for the enrichment of planar façades. Such a purely data driven modelling only leads to robust and realistic façade models if the available observations meet considerable requirements on data quality. Depending on sensor accuracy and the geometric configuration during data acquisition, measurements often exhibit heterogeneous quality situations concerning accuracy, coverage and density. This holds true for data from specialised sensor systems, when for example obstacles in the line of sight lead to partial occlusions, as well as particularly for data from low cost sensors. To ensure the generation of realistic 3D geometries even for inaccurate and incomplete measurements, reconstruction has to be supported by additional object information. Therefore, some algorithms introduce knowledge about the appearance and arrangement of objects through manually predefined rule systems for the procedural modelling of building structures in a certain architectural style. This work aims at the refinement of existing coarse building models by integrating three-dimensional façade geometry with explicit semantic information, for example windows or doors. The façade reconstruction ought to run fully automatically through all processing steps. Furthermore, the approach should be robust against erroneous and incomplete sensor data, but not subject to prespecified rules in order to achieve a maximum degree of flexibility. For this purpose, data driven and model based methods, also known as bottom-up and top-down strategies, are combined. The data driven part mainly consists of the interpretation of terrestrial LiDAR data and applies cell decomposition for the modelling process. Building areas covered by dense and accurate measurements are used to extract 3D façade geometries such as indentations and protrusions. Resulting façade models contain structures which are characteristic for the respective building and, thus, serve as knowledge base for the automatic derivation of a formal grammar called façade grammar. In a first step, the façade is segmented into semantically homogeneous regions that can be regarded as indivisible. They represent the basic elements of the grammar, the terminals. Expressed as a sequence of terminals, the façade can subsequently be searched for repetitive and hierarchical structures by means of a string based algorithm. After the detected structures have been automatically translated into production rules, the façade grammar is complete. With its individual terminals and rules, the grammar holds all the information which is necessary to reconstruct buildings in the style of the observed façade. By applying the production rules, realistic façade structures can be generated even for building regions for which no sensor data or only measurements of poor quality are available. The potential of the proposed approach for 3D façade reconstruction is demonstrated through several examples with different building characteristics. In order to evaluate the generated façade models, quality metrics are provided which quantify to which extent the model reflects the architectural appearance of the real building. The façade reconstruction proves to be appropriate to cope with data of heterogeneous quality. Furthermore, it is flexible towards the great variety of structures to be modelled.