Loading…
Bayesian Inference and Experimental Design for Large Generalised Linear Models
Nickisch, Hannes
Zu Entscheidungen zu gelangen trotz unsicherer und unvollständiger Informationen, ist eines der zentralen Themen der Statistik und des maschinellen Lernens. Probabilistische Bayesianische Modelle stellen dabei einen strengen mathematischen Rahmen für die Formalisierung der Datengewinnung zur Verfügung, in dem getroffene Annahmen sowie vorhandenes Vorwissen explizit gemacht werden. Die resultierende a-posteriori-Verteilung repräsentiert den Wissensstand des Modells und ist Ausgangspunkt für sich anschließende Entscheidungen. Trotz aller begrifflichen Klarheit der Bayesianischen Inferenz haben die notwendigen Berechnungen meist die Form analytisch unlösbarer hochdimensionaler Integrale, was in der Praxis zu einer Reihe von randomisierten und deterministischen Näherungsverfahren führt. Die vorliegende Arbeit entwickelt, studiert und wendet Algorithmen zur näherungsweisen Inferenz und Versuchsplanung auf generalisierte lineare Modelle (GLM) an. Ein besonderer Schwerpunkt liegt auf algorithmischen Eigenschaften wie Konvexität, numerische Stabilität und Skalierbarkeit hin zu großen Mengen an wechselwirkenden Größen. Nach einer Einführung in GLMs stellen wir die vielversprechendsten Ansätze zum Schätzen, zur näherungsweisen Inferenz und zur Versuchsplanung vor. Wir untersuchen detailliert einen speziellen Ansatz und leiten Konvexitäts-Eigenschaften her, was zu einem generischen und skalierbaren Inferenzverfahren führt. Desweiteren sind wir in der Lage, den Zusammenhang zwischen Bayesianischer Inferenz und dem regularisierten statistischen Schätzen genau zu beschreiben: Schätzen ist ein Spezialfall von Inferenz und Inferenz kann durch eine Folge von geglätteten Schätzern berechnet werden. Im Anschluss daran vergleichen wir eine Reihe von Inferenzverfahren, angewendet auf die binäre probabilistische Klassifikation mittels eines kernbasierten GLMs, dem sogenannten Gauß-Prozess-Modell. Eine Reihe empirischer Experimente ermittelt den EP-Algorithmus als das genaueste Näherungsverfahren. In einem nächsten Schritt wenden wir den EP-Algorithmus auf die sequenzielle Optimierung der Messarchitektur eines Bilderfassungssystems an. Dies unter Verwendung von Compressive Sampling (CS), bei dem die intrinsische Redundanz in Signalen benutzt wird, um den Messprozess zu beschleunigen. In vergleichenden Experimenten beobachten wir Unterschiede zwischen dem Verhalten von adaptivem CS in der Praxis und dem theoretisch untersuchten Szenario. Durch Kombination der gewonnenen Erkenntnisse über adaptives CS mit unserem konvexen Inferenzverfahren sind wir in der Lage, die Messsequenz von Magnetresonanztomographie-Systemen (MRT) zu verbessern, indem wir das Bayesianische Kriterium zur Versuchsplanung optimieren. Unsere MRT-Anwendung auf Bildern realitischer Größe ermöglicht kürzere Messzeiten bei gleichbleibender Bildqualität.
Decision making in light of uncertain and incomplete knowledge is one of the central themes in statistics and machine learning. Probabilistic Bayesian models provide a mathematically rigorous framework to formalise the data acquisition process while making explicit all relevant prior knowledge and assumptions. The resulting posterior distribution represents the state of knowledge of the model and serves as the basis for subsequent decisions. Despite its conceptual clarity, Bayesian inference computations take the form of analytically intractable high-dimensional integrals in practise giving rise to a number of randomised and deterministic approximation techniques. This thesis derives, studies and applies deterministic approximate inference and experimental design algorithms with a focus on the class of generalised linear models (GLMs). Special emphasis is given to algorithmic properties such as convexity, numerical stability, and scalability to large numbers of interacting variables. After a review of the relevant background on GLMs, we introduce the most promising approaches to estimation, approximate inference and experiment design. We study in depth a particular approach and reveal its convexity properties naturally leading to a generic and scalable inference algorithm. Furthermore, we are able to precisely characterise the relationship between Bayesian inference and penalised estimation: estimation is a special case of inference and inference can be done by a sequence of smoothed estimation steps. We then compare a large body of inference algorithms on the task of probabilistic binary classification using a kernelised GLM: the Gaussian process model. Multiple empirical comparisons identify expectation propagation (EP) as the most accurate algorithm. As a next step, we apply EP to adaptively and sequentially design the measurement architecture for the acquisition of natural images in the context of compressive sensing (CS), where redundancy in signals is exploited to accelerate the measurement process. We observe in comparative experiments differences between adaptive CS results in practise and the setting studied in theory. Combining the insights from adaptive CS with our convex variational inference algorithm, we are able -- by sequentially optimising Bayesian design scores -- to improve the measurement sequence in magnetic resonance imaging (MRI). In our MRI application on realistic image sizes, we achieve scan time reductions for constant image quality.
