Automatic modeling of building interiors using low-cost sensor systems

Abstract

Indoor reconstruction or 3D modeling of indoor scenes aims at representing the 3D shape of building interiors in terms of surfaces and volumes, using photographs, 3D point clouds or hypotheses. Due to advances in the range measurement sensors technology and vision algorithms, and at the same time an increased demand for indoor models by many applications, this topic of research has gained growing attention during the last years. The automation of the reconstruction process is still a challenge, due to the complexity of the data collection in indoor scenes, as well as geometrical modeling of arbitrary room shapes, specially if the data is noisy or incomplete. Available reconstruction approaches rely on either some level of user interaction, or making assumptions regarding the scene, in order to deal with the challenges. The presented work aims at increasing the automation level of the reconstruction task, while making fewer assumptions regarding the room shapes, even from the data collected by low-cost sensor systems subject to a high level of noise or occlusions. This is realized by employing topological corrections that assure a consistent and robust reconstruction. This study presents an automatic workflow consisting of two main phases. In the first phase, range data is collected using the affordable and accessible sensor system, Microsoft Kinect. The range data is registered based on features observed in the image space or 3D object space. A new complementary approach is presented to support the registration task in some cases where these registration approaches fail, due to the existence of insufficient visual and geometrical features. The approach is based on the user’s track information derived from an indoor positioning method, as well as an available coarse floor plan. In the second phase, 3D models are derived with a high level of details from the registered point clouds. The data is processed in 2D space (by projecting the points onto the ground plane), and the results are converted back to 3D by an extrusion (room height available from the point height histogram analysis). Data processing and modeling in 2D does not only simplify the reconstruction problem, but also allows for topological analysis using the graph theory. The performance of the presented reconstruction approach is demonstrated for the data derived from different sensors having different accuracies, as well as different room shapes and sizes. Finally, the study shows that the reconstructed models can be used to refine available coarse indoor models which are for instance derived from architectural drawings or floor plans. The refinement is performed by the fusion of the detailed models of individual rooms (reconstructed in a higher level of details by the new approach) to the coarse model. The model fusion also enables the reconstruction of gaps in the detailed model using a new learning-based approach. Moreover, the refinement process enables the detection of changes or details in the original plans, missing due to generalization purposes, or later renovations in the building interiors.

Die dreidimensionale Rekonstruktion von Innenraumszenen zielt darauf ab, die Form von Gebäudeinnenräumen als Flächen oder Volumina abzubilden. Aufgrund von Fortschritten im Bereich der Technologie entfernungsmessender Sensoren und Algorithmen der Computervision sowie verursacht durch das gesteigerte Interesse vieler Anwendungsgebiete an Innenraummodellen hat dieses Forschungsfeld in den letzten Jahren zunehmend an Aufmerksamkeit gewonnen. Die Automatisierung des Rekonstruktionsprozesses ist weiterhin Forschungsgegenstand, verursacht durch die Komplexität der Rekonstruktion, der geometrischen Modellierung beliebig geformter Räume und besonders im Falle unvollständiger oder ungenauer Daten. Die hier vorgestellte Arbeit hat die Erhöhung des Automatisierungsgrades dieser Aufgabe zum Ziel, unter der Verwendung einer geringen Anzahl an Annahmen bzgl. der Form von Räumen und basierend auf Daten, welche mit Low-Cost-Sensoren erfasst wurden und von geringer Qualität sind. Diese Studie stellt einen automatisierten Arbeitsablauf vor, welcher sich aus zwei Hauptphasen zusammensetzt. Die erste Phase beinhaltet die Datenerfassung mittels eines kostengünstigen und leicht erhältlichen Sensorsystems, der Microsoft Kinect. Die Entfernungsdaten werden anhand von Merkmalen, welche im Bildraum oder im 3D Objektraum beobachtet werden können, registriert. Ein neuer komplementärer Ansatz für die Unterstützung der Registrierungsaufgabe wird präsentiert, da die diese Ansätze zur Registrierung in manchen Fällen versagen können, wenn die Anzahl gefundener visueller und geometrischer Merkmale nicht ausreicht. Der Ansatz basiert auf der Benutzerfußspur, welche mittels einer Innenraumpositionierungsmethode erfasst wird, und auf einem vorhandenen groben Stockwerksmodell. In der zweiten Phase werden aus den registrierten Punktwolken mittels eines neuen Ansatzes automatisiert hochdetaillierte 3D-Modelle abgeleitet. Hierzu werden die Daten im zweidimensionalen Raum verarbeitet (indem die Punkte auf die Grundrissebene projiziert werden) und die Ergebnisse werden durch eine Extrusion in den dreidimensionalen Raum zurückgewandelt (wobei die Raumhöhe mittels einer Histogrammanalyse der in der Punktwolke enthaltenen Höhen erfasst wird). Die Datenanalyse und -modellierung in 2D vereinfacht dabei nicht nur das Rekonstruktionsproblem, sondern erlaubt auch eine topologische Analyse unter Verwendung der Graphentheorie. Die Leistungsfähigkeit des Ansatzes wird dargestellt, indem Daten mehrerer Sensoren verwendet werden, die unterschiedliche Genauigkeiten liefern, und anhand der Erfassung von Räumen unterschiedlicher Form und Größe. Abschließend zeigt die Studie, dass die rekonstruierten Modelle verwendbar sind, um vorhandene grobe Innenraummodelle zu verfeinern, welche beispielsweise aus Architekturzeichnungen oder Grundrissplänen abgeleitet werden können. Diese Verfeinerung wird durch die Fusion der detaillierten Modelle einzelner Räume mit dem Grobmodell realisiert. Die Modellfusion beinhaltet dabei die Überbrückung von Lücken im detaillierten Modell unter Verwendung eines neuen, auf maschinellem Lernen basierenden Ansatzes. Darüber hinaus erlaubt der Verfeinerungsprozess die Detektion von Änderungen oder Details, welche aufgrund der Generalisierung des Grobmodells oder Renovierungsarbeiten im Gebäudeinnenraum fehlten.