TU Darmstadt / ULB / TUprints

Learning Low-Dimensional Representations With Application to Classification and Decision-Making

Hahn, Jürgen (2017)
Learning Low-Dimensional Representations With Application to Classification and Decision-Making.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
thesis_jhahn.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (4MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Learning Low-Dimensional Representations With Application to Classification and Decision-Making
Language: English
Referees: Zoubir, Prof. Dr. Abdelhak M. ; Theodoridis,, Prof. Dr. Sergios
Date: 2017
Place of Publication: Darmstadt
Date of oral examination: 16 December 2016
Abstract:

Many signal processing and machine learning algorithms perform poorly when applied to high-dimensional data, as is known by the phenomenon of the curse of dimensionality. Learning low-dimensional representations aims at reducing the dimensionality of the observation space while maintaining the characteristics of the data. Further, low-dimensional representations can help to reveal latent structures, allowing for deeper insights into the observations. For these reasons, models are proposed that allow to learn low-dimensional representations of the observations, providing means for the analysis of the observed data. In particular, approaches for efficient data acquisition and classification and for the inference of the structure of the observed data are presented.

First, low-dimensional methods for classification are proposed with application to hyperspectral imaging. In remote sensing, hyperspectral imaging provides an efficient means for the analysis of vast areas. As each element of the captured image represents the spectrum of the visible and infra-red light, the acquired data allows for effective discrimination between different materials. For classification, a feature selection approach as well as a sparse acquisition scheme are presented. The goal of both methods is to reduce the amount of data that needs to be evaluated during classification, while maintaining high classification accuracies. In the first approach, a clustering-based method for selecting the bands of a hyperspectral image, which can be considered as features for classification, is proposed. However, removing costly acquired data during feature selection is clearly resource-inefficient. For this reason, further a sparse acquisition approach based on the Compressive Sensing framework is proposed. The key idea of this approach is to capture the data in a low-dimensional representation, which is interpreted as being embedded in a feature space for the classification problem. As we are interested in the classification result directly, costly reconstruction of the data is not required and can be avoided.

Second, a feature-based approach to learn the structure of the spectra is proposed, revealing the materials present in a hyperspectral image. Hyperspectral images often suffer from low spatial resolutions such that each element of an image represents a large area, often in the range from 2m² to 400m². However, many algorithms, such as for classification, assume that each element of the image represents a single material only. Thus, learning the structure is an important task in the analysis of hyperspectral images, which is also known as spectral unmixing. For this, a Bayesian nonparametric formulation of the problem is proposed. A significant advantage of this model, in comparison to existing approaches, is that the number of materials is inferred from the data and, hence, is not required to be known a priori. The proposed formulation results in a Bayesian nonparametric unmixing algorithm which enables to learn the number of latent features, the actual features, and their coefficients jointly.

Third, a model for decision-making based on a feature representation of the observations is proposed. In particular, the problem of learning from observations is considered, in which we aim at learning a behavior from observations which are provided by an experienced agent. A key difference to existing approaches consists in the assumption that the agent makes its decision based on latent features of the observations, where each feature indicates a certain action. Learning the features and their policies enables to reason about the observed behavior. Further, actions for new situations can be predicted, from which a policy can be derived for other agents. Using the developed algorithm, a driver's behavior is analyzed, which is a typical task in advanced driver assistance systems, in order to show the performance of the model in a real-world problem.

The algorithms based on the proposed models are evaluated on simulated data to proof the concepts. Further, all methods are applied to real data, demonstrating the high performance of the developed approaches.

Alternative Abstract:
Alternative AbstractLanguage

Viele Algorithmen in der Signalverarbeitung und des Maschinellen Lernens erzielen bei der Anwendung auf hochdimensionalen Daten suboptimale Ergebnisse, wie durch das Phänomen des Fluchs der Dimensionen bekannt ist. Das Erlernen niedrigdimensionaler Repräsentationen zielt darauf ab, die Dimensionalität des Beobachtungsraumes zu reduzieren, wobei charakteristische Merkmale der Daten erhalten werden sollen. Darüberhinaus können diese Darstellungen helfen, Strukturen in den Daten zu entdecken, die tiefergehende Erkenntnisse über die Beobachtungen ermöglichen. Aus diesen Gründen werden in dieser Arbeit Modelle zum Erlernen niedrigdimensionaler Repräsentationen vorgeschlagen, die eine Analyse der beobachteten Daten ermöglichen. Insbesondere werden Ansätze zur effizienten Aufzeichnung, Klassifikation sowie zum Erlernen der Strukturen in den beobachteten Daten präsentiert.

Zunächst werden niedrigdimensionale Methoden für die Klassifikation mit Anwendung in der hyperspektralen Bildgebung vorgestellt. In der Fernerkundung stellt die hyperspektrale Bildgebung ein effizientes Mittel zur Analyse großer Areale bereit. Insbesondere können mit den aufgezeichneten Daten verschiedene Materialien einfach unterschieden werden, da jedes Element des aufgezeichneten Bildes das Spektrum des sichtbaren sowie des infraroten Lichts darstellt. Für die Klassifikation wird ein Ansatz zur Auswahl der Merkmale und zur effizienten Aufzeichnung der Daten vorgestellt. Das Ziel beider Methoden besteht darin, die Menge der Daten, die während der Klassifikation ausgewertet werden muss, zu reduzieren, wobei hohe Klassifikationsgenauigkeiten erhalten werden sollen. Im ersten Ansatz wird eine cluster-basierte Methode zur Auswahl der Bänder des hyperspektralen Bildes vorgestellt, welche als Merkmale für die Klassifikation betrachtet werden können. Da das Entfernen aufwändig aufgezeichneter Daten zu einer ineffizienten Nutzung der Ressourcen führt, wird weiterhin ein Ansatz zur Aufzeichnung basierend auf Compressive Sensing vorgestellt. Der Kerngedanke dieser Methode besteht darin, die Daten in einer niedrigdimensionalen Darstellung aufzuzeichnen. Für die Klassifikation können diese Daten als eingebettet in einem Merkmalsraum betrachtet werden. Da wir direkt an einer Klassifikation interessiert sind, ist eine aufwendige Rekonstruktion der Daten nicht notwendig und kann vermieden werden.

Weiterhin wird ein merkmalsbasiertes Verfahren zum Erlernen von Strukturen in den Spektren vorgeschlagen, welches die in den hyperspektralen Bildern vorkommenden Materialien extrahiert. Hyperspektrale Bilder weisen oft eine geringe räumliche Auflösung auf, so dass die Elemente des Bildes große Areale darstellen, oft im Bereich von 2m² bis 400m². Viele Algorithmen, die u.a. zur Klassifikation verwendet werden, nehmen jedoch an, dass jedes Bildelement nur ein einzelnes Material darstellt. Folglich ist das Erlernen der Struktur eine wichtige Aufgabe in der hyperspektralen Bildgebung. Dies wird auch als spektrales unmixing bezeichnet. Hierfür wird eine Bayessche nichtparametrische Formulierung des Problems vorgeschlagen. Ein wichtiger Vorteil dieses Modells im Vergleich zu bestehenden Methoden ist, dass die Anzahl der Materialien aus den Daten inferiert werden kann und somit nicht als bekannt vorrausgesetzt wird. Die vorgeschlagene Formulierung resultiert in einem Bayesschen nichtparametrischen unmixing Algorithmus, der in der Lage ist, die Anzahl der Merkmale, die Merkmale selbst, sowie deren Koeffizienten gemeinsam zu lernen.

Zuletzt wird ein Modell für die Entscheidungsfindung vorgeschlagen, das auf Merkmalsdarstellungen der Beobachtungen basiert. Insbesondere wird das Problem des Lernens aus Beobachtungen mit dem Ziel betrachtet, ein Verhalten aus den Beobachtungen eines erfahrenen Agenten zu lernen. Ein bedeutender Unterschied zu bestehenden Verfahren liegt in der Annahme, dass der Agent seine Entscheidungen basierend auf Merkmalen der Beobachtungen trifft, wobei jedes Merkmal eine bestimmte Entscheidung impliziert. Das Erlernen der Merkmale und deren Verhaltensregeln ermöglicht es Schlüsse über das beobachtete Verhalten zu ziehen. Weiterhin können Aktionen für neue Situationen vorhergesagt werden, aus denen Verhaltensregeln für andere Agenten abgeleitet werden können. Um die Möglichkeiten des Modells anhand eines realen Problems aufzuzeigen, wird mithilfe des entwickelten Algorithmus das Verhalten eines Fahrers analysiert, welches eine typische Aufgabe in intelligenten Fahrerassistenzsystemen ist.

Die Algorithmen, die auf den vorgeschlagenen Modellen basieren, werden mithilfe simulierter Daten zur Überprüfung der Konzepte ausgewertet. Weiterhin werden alle Methoden auf reale Daten angewandt, um die Leistungsfähigkeit der entwickelten Ansätze zu demonstrieren.

German
URN: urn:nbn:de:tuda-tuprints-59535
Classification DDC: 000 Generalities, computers, information > 004 Computer science
600 Technology, medicine, applied sciences > 600 Technology
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Signal Processing
Date Deposited: 31 Jan 2017 11:14
Last Modified: 09 Jul 2020 01:31
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5953
PPN: 399141103
Export:
Actions (login required)
View Item View Item