Bitte benutzen Sie diese Referenz, um auf diese Ressource zu verweisen: doi:10.22028/D291-25950
Titel: From differential equations to differential geometry : aspects of regularisation in machine learning
VerfasserIn: Steinke, Florian
Sprache: Englisch
Erscheinungsjahr: 2009
Kontrollierte Schlagwörter: Maschinelles Lernen
Regularisierung
Differentialgleichung
Differentialgeometrie
Systemidentifikation
Gauß-Prozess
Bayes-Inferenz
Freie Schlagwörter: Regularisierungsoperator
Regression
Riemannsche Mannigfaltigkeiten
machine learning
regularisation
differential equation
differential geometry
Bayesian inference
Gaussian process
DDC-Sachgruppe: 004 Informatik
Dokumenttyp: Dissertation
Abstract: Machine learning requires the use of prior assumptions which can be encoded into learning algorithms via regularisation techniques. In this thesis, we examine in three examples how suitable regularisation criteria can be formulated, what their meaning is, and how they lead to efficient machine learning algorithms. Firstly, we describe a joint framework for positive definite kernels, Gaussian processes, and regularisation operators which are commonly used objects in machine learning. With this in mind, it is then straightforward to see that linear differential equations are an important special case of regularisation operators. The novelty of our description is the broad, unifying view connecting kernel methods and linear system identification. We then discuss Bayesian inference and experimental design for sparse linear models. The model is applied to the task of gene regulatory network reconstruction, where the assumed network sparsity improves reconstruction accuracy and our proposed experimental design setup outperforms prior methods significantly. Finally, we examine non-parametric regression between Riemannian manifolds, a topic that has received little attention so far. We propose a regularised empirical risk minimisation framework, ensuring with the help of differential geometry that it does not depend on the representation of the input and output manifold. We apply our approach to several practical learning tasks in robotics and computer graphics.
A priori Annahmen sind für das maschinelle Lernen unabdingbar, und eine Möglichkeit, diese Annahmen in Lernalgorithmen zu kodieren, ist die Regularisierung. In dieser Dissertation wird anhand von drei Beispielen untersucht, wie man sinnvolle Regularisierungskriterien formulieren kann und wie daraus effiziente Lernalgorithmen entstehen. Zuerst werden Zusammenhänge zwischen positiv definiten Kernen, Gaußprozessen und Regularisierungsoperatoren, wie sie häufig im maschinellen Lernen verwendet werden, beschrieben. Dabei wird klar, dass lineare Differentialgleichungen einen wichtigen Spezialfall solcher Operatoren darstellen, und dass Kernmethoden daher eng mit der linearen Systemidentifikation verwandt sind. Danach wird Bayessche Inferenz und Versuchsplanung in dünnbesetzten, linearen Modellen diskutiert. Das Modell wird auf die Rekonstruktion von genetischen Interaktionsnetzwerken angewendet. Durch die Annahmne, dass die zu schätzenden Vektoren dünnbesetzt sind, und durch die neuartige Versuchsplanungsmethode ergeben sich signifikante Verbesserungen der Rekonstruktion. Schließlich wird nichtparametrische Regression zwischen Riemannschen Mannigfaltigkeiten mittels regularisierter, empirischer Risikominimierung untersucht. Es wird darauf geachtet, dass die Regularisierung unabhängig von der Darstellung der Mannigfalitgkeiten ist. Die vorgestellte Methode wird anhand verschiedener Beispiele aus der Robotik und der Computergraphik getestet.
Link zu diesem Datensatz: urn:nbn:de:bsz:291-scidok-24309
hdl:20.500.11880/26006
http://dx.doi.org/10.22028/D291-25950
Erstgutachter: Hein, Matthias
Tag der mündlichen Prüfung: 18-Mai-2009
Datum des Eintrags: 21-Sep-2009
Fakultät: MI - Fakultät für Mathematik und Informatik
Fachrichtung: MI - Informatik
Sammlung:SciDok - Der Wissenschaftsserver der Universität des Saarlandes

Dateien zu diesem Datensatz:
Datei Beschreibung GrößeFormat 
Dissertation_8818_Stei_Flor_2009.pdf4,64 MBAdobe PDFÖffnen/Anzeigen


Alle Ressourcen in diesem Repository sind urheberrechtlich geschützt.