Crossmodal Learning and Prediction of Autobiographical Episodic Experiences using a Sparse Distributed Memory

Abstract

This work develops a connectionist memory model for a service robot that satisfies a number of desiderata: associativity, vagueness, approximation, robustness, distribution and parallelism. A biologically inspired and mathematically sound theory of a highly distributed and sparse memory serves as the basis for this work. The so-called sparse distributed memory (SDM), developed by P. Kanerva, corresponds roughly to a random-access memory (RAM) of a conventional computer but permits the processing of considerably larger address spaces. Complex structures are represented as binary feature vectors. The model is able to produce expectations of world states and complement partial sensory patterns of an environment based on memorised experience. Caused by objects of the world, previously learnt experiences will activate pattern sequences in the memory and claim the system's attention. In this work, the sparse distributed memory concept is mainly considered a biologically inspired and content-addressable memory structure. It is used to implement an autobiographical long-term memory for a mobile service-robot to store and retrieve episodic sensor and actuator patterns.

Within the scope of this work the sparse distributed memory concept is applied to several domains of mobile service robotics, and its feasibility for the respective areas of robotics is analysed. The studied areas range from pattern matching, mobile manipulation, navigation, telemanipulation to crossmodal integration. The robot utilises properties of sparse distributed memory to detect intended actions of human teleoperators and to predict the residual motion trajectory of initiated arm or robot motions. Several examples show the model's fast and online learning capability for precoded and interactively provided motion sequences of a 6 DoF robot arm. An appropriate encoding of sensor-based information into a binary feature space is discussed and alternative coding schemes are elucidated.

A transfer of the developed system to robotic subfields such as vision-based navigation is discussed. The model's performance is compared across both of these domains, manipulation and navigation. A hierarchical extension enables the memory model to link low-level sensory percepts to higher-level semantic task descriptions. This link is used to perform a classification of demonstrated telemanipulation tasks based on the robot's experience in the past. Tests are presented where different sensory patterns are combined into an integrated percept of the world. Those crossmodal percepts are used to dissolve ambiguities that may arise from unimodal perception.

In dieser Arbeit wird ein konnektionistisches Gedächtnismodell für einen Service-Roboter realisiert, das eine Riege von Desiderata erfüllen soll: Assoziativität, Unschärfe, Approximität, Robustheit, Verteiltheit und Parallelismus. Als Grundlage dient die von P. Kanerva entwickelte und biologisch inspirierte Theorie eines hochgradig verteilten und dünn besetzten Speichers, engl. Sparse Distributed Memory (SDM). Es entspricht generell einem Speicher ähnlich dem Random-Access Memory (RAM) eines Computers wobei ein weitaus größerer Adressraum abgedeckt werden kann. Komplexe Strukturen werden als sehr lange Vektoren eines binären Merkmalsraums auf das Gedächtnismodell abgebildet. Das Modell erzeugt Erwartungen und vervollständigt partielle Wahrnehmungen der Umwelt mittels gespeicherter Sensordaten. Ausgelöst durch Objekte der Umwelt werden zuvor gelernte Erfahrungen durch Folgen von Aktivierungsmustern im Fokus der Aufmerksamkeit des technischen Systems dargestellt. Primär wird in dieser Arbeit das Sparse Distributed Memory als eine dem menschlichen Vorbild ähnliche Gedächtnisstruktur zur autobiographischen Langzeitspeicherung von Erfahrungsmustern diskutiert.

Diese Arbeit präsentiert die Übertragung des Sparse Distributed Memory Konzepts auf verschiedenste Domänen der mobilen Service-Robotik und analysiert dessen Eignung für die jeweiligen Bereiche. Diese Bereiche umfassen die mobile Manipulation, Navigation, Telemanipulation und die kreuzmodale Integration verschiedenartiger Sensormuster. Der Roboter nutzt die prädiktiven Eigenschaften des Modells um beispielsweise Intentionen von Teleoperatoren zu erkennen und initiierte Roboterarm-Bewegungsmuster sowie mobile Navigationsaufgaben autonom zu Ende zu führen. Verschiedenste Anwendungsszenarien zeigen die schnelle Lernfähigkeit von kodierten sowie interaktiven Manipulationssequenzen eines Roboterarms mit sechs Freiheitsgraden mittels einer vorwärtsgerichteten, neuronalen Architektur, die das SDM darstellt. Dabei werden u.a. die Probleme der Informationsenkodierung von Sensordaten in einen binären Merkmalsraum erörtert und weitere Kodierungsmöglichkeiten untersucht.

Die Übertragung des Modells auf andere Modalitäten zur Lösung von visuellen Navigationsaufgaben wird dargestellt und das Verhalten des Modells bezüglich der Manipulationsdomäne verglichen. Durch eine hierarchische Erweiterung des Gedächtnismodells wird es ermöglicht, Sensorwahrnehmungen mit semantischen Konzepten höheren Abstraktionsgrades zu verknüpfen um beispielsweise Ziele einer interaktiven Telemanipulationsaufgabe frühzeitig zu ermitteln. Es werden Untersuchungen präsentiert, die eine kreuzmodale Integration verschiedenartiger Sensormuster zu einem multimodalen Perzept der Umgebung darstellen, um Ambiguitäten unimodaler Wahrnehmungen zu kompensieren.