Interpretation of Aerial Images with Learned Graphical Models

Abstract

In this thesis we present a new approach for image interpretation of aerial images using learned graphical models.<br /> The approach uses a region based hierarchical feature adjacency graph. This contains homogeneous regions that were extracted out of the image as well as its neighbor relationships.<br /> For each region there are 17 image features extracted to describe the region, e.g. color, structure and symmetries. The neighbor relations are attributed by seven features describing their geometrical relation. The Bayes net consists of nodes for regions and their image features as well as the neighbor relationships. It also models the higher aggregated elements with nodes for cliques, objects and the image scene. The regions of this adjacency graph and the describing features are used as observations for the nodes of the Bayes net. In the first learning step also the scene node is introduced as observation the other nodes are hidden i.e. not observed.<br /> The presented approach has two stages. In the first stage the Bayes net is trained with known ground truth data. By introducing the observations, a structural learning algorithm searches the best net structure and learns the probability distributions and the dependencies of the nodes of the Bayes net. The learned parameters are the result of the first stage. They are saved and used in the second stage.<br /> The second stage interprets new images using a Bayes net with the parameters of the first stage. Again, the regions and features of the region based feature adjacency graph are introduced as observations. Using an iterative maximum a posteriori estimation, we search for the optimal Bayes net structure to describe the underlying image. The states of the nodes of the Bayes net represent now the interpretation according to our learned vocabulary.

Die vorliegende Arbeit präsentiert einen neuen Ansatz der Bildinterpretation von Luftbildern mit Hilfe von gelernten Bayes-Netzen. Luftbilder sind der Ausgangspunkt zur Herstellung von Karten und damit der Ausgangspunkt für Infrastrukturplanungen und Navigationsdaten.<br /> Das Verfahren arbeitet auf einem Regionen-basierten hierarchischen Merkmals-Nachbarschafts-Graph. Dieser enthält alle aus dem Bild extrahierten homogenen Regionen, inklusive ihrer Nachbarschaftsstrukturen. Die Regionen werden dabei durch 17 Bild-Merkmale beschrieben. Diese sind z.B. Farbe, Struktur, Form oder Symmetrien. Die Nachbarschaftsbeziehungen selbst werden durch sieben Merkmale attributiert.<br /> Das Bayes-Netz besteht aus Knoten für die Beobachtung der Regionen, ihrer Merkmale und Nachbarschaften, sowie die Aggregationsstufen der Cliquen, Objekte und der Szene als Ganzes. Die Regionen des Merkmal-Nachbarschafts-Graphen sowie ihre Attribute werden als Beobachtungen in den entsprechenden Knoten des Bayes-Netzes eingeführt. Im Lern-Schritt wird dazu auch der Typ der Bildszene als Beobachtung eingeführt.<br /> Die anderen Knoten des Bayes-Netzes sind unbeobachtet. Das präsentierte Verfahren der Bildinterpretation ist zweistufig: In der ersten Stufe wird das Bayes-Netz anhand von vorhandenen Interpretationsergebnissen auf bekannten Bildern trainiert. Dabei werden die Struktur des Bayes-Netzes und die Wahrscheinlichkeitsdichten gelernt. Die gelernten Parameter für die Abhängigkeiten und die Wahrscheinlichkeitsdichten, die das Bayes-Netz repräsentiert, sind das Ergebnis der ersten Stufe. Sie werden abgespeichert und inder zweiten Stufe verwendet.<br /> Die zweite Stufe benutzt die Parameter, welche in der ersten Stufe ermittelt wurden, zur Interpretation. Dafür werden wiederum die Elemente aus dem Merkmals-Nachbarschafts-Graph als Beobachtung für das Bayes-Netz benutzt. Dann wird in einer iterativen Maximum a-posteriori Schätzung die bestanpassende Struktur als Lösung für das Bayes-Netz gesucht. Die Zustände der Knoten im Bayes-Netz repräsentieren nun die Interpretation des Bildes mit den im ersten Schritt erzeugten Vokabeln. Ergebnisse der so gefundenen Interpretation werden visualisiert und ausgewertet.<br /> In verschiedenen Experimenten wird die Stabilität und Robustheit des Verfahrens auf vier verschiedenen Datensätzen von Luftbildbefliegungen gezeigt.