Loading…
Brain-Computer Interfaces
Design and implementation of an online BCI-System for the control in gaming applications and virtual limbs
Krepki, Roman
Die vorliegende Dissertation beschreibt Ergebnisse der Arbeit, durchgeführt am Fraunhofer Institut für Rechnerarchitektur und Softwaretechnik (FIRST), insbesondere bei der Forschungsgruppe für Intelligente Datenanalyse (IDA), im Rahmen des Projektes "Brain-Computer Interface" (BCI). Das angestrebte Ziel des aktuell laufenden Projektes ist es, ein Hardware- und Software-System zu entwerfen und zu entwickeln, das in der Lage ist elektroencephalographische (EEG)Signale(gewonnen auf eine nicht-invasive Art, mit Hilfe der Oberflächenelektroden, die über dem Kopf des Benutzers angebracht sind), in Echtzeit in spezielle Kommandos umzuwandeln, so dass für den Probanden eine verlässliche Steuerung einer Computeranwendung, bzw. eines Gerätes ermöglicht wird. Die Steuerung einer Computeranwendung soll im Rahmen dieser Arbeit in Form von einfachen Computerspielen (Ping-Pong, Pacman, Tetris) repräsentiert werden, im Weiteren bezeichnet als "Brain-Gaming". Hierzu sind fundierte Überlegungen zum Entwurf und Realisierung einer Kommunikationsschnittstelle und des zugehörigen Protokolls angestellt worden. Ein weiterer wichtiger Bestandteil jeder Steuerung ist deren Strategie und der Befehlssatz der Anwendung. So wurden mehrere Strategien entwickelt, implementiert und in verschiedenen Szenarien experimentell erprobt. Die Flexibilität der Steuerungsschnittstelle stellte sich als einer der wichtigsten Aspekte beim Entwurf und der Entwicklung von Rückkopplungsanwendungen. Bei der Steuerung eines Gerätes kann es sich um das Lenken und Bewegen eines Rollstuhls, z.B. für querschnittsgelehmte Patienten, oder um das Bewegen einer Arm-, bzw. Beinprothese für Patienten mit amputierten Extremitäten handeln. Dies wurde vorerst als Simulation einer Extremität (Arm) auf dem Computer-Bildschirm realisiert, so dass es in zukünftigen Experimenten an bedürftigen Patienten getestet werden kann. Im Gegensatz zu Brain-Gaming Experimenten, bei denen der Spieler mit einem zusätzlichen Kommunikationskanal (der unabhängig von anderen normalen Kanälen des menschlichen neuromuskulären Systems ist) ausgestattet wird, stellen die Experimente an Patienten keine Anforderung an die ultra-schnelle Erkennung der Bewegungsabsicht; So kann das Steuersignal zur Ausführung einer simulierten Bewegung auch nach dem Auslösen der eigentlichen Phantombewegung, sogar nach deren Ausführung, erkannt werden. In Experimenten mit Feedback-Szenarien, die kompetitiven Spielen ähneln, können verschiedene Aspekte der ultraschnellen Erkennung einer Bewegungsintension mit Hilfe von Reaktionstests untersucht werden. Dieses eröffnet neue Perspektiven bei der Ausführung von Präventivmaßnahmen in zeitkritischen Anwendungen. Diese Dissertation, sowie die Entwicklung und Implementierung des Prototyps basiert auf fundierten Erkenntnissen der Neurophysiologie; Ein ausgewähltes Kapitel dieser Dissertation verschafft deshalb tieferen Einblick in die menschliche Neurophysiologie. Ferner, beschreibt ein gesondertes Kapitel dieser Dissertation die Entwicklung und Implementierung eines online Prototyps " des BBCI-Systems (Berliner Brain-Computer Interface) " in dessen Einzelkomponenten und der Gesamtheit aus dem Sichtpunkt der Softwaretechnik. Im Rahmen der Arbeit wurden mehrere Rückkopplungsmodule (Bio-Feedback), sowohl spielerischen Charakters, als auch zu Rehabilitationszwecken entwickelt, die hier im Detail vorgestellt werden. Mit besonderer Aufmerksamkeit wurde der Einfluss des online Bio-Feedbacks auf den Probanden untersucht.
This dissertation aims to describe work carried out at the Fraunhofer Institute for Computer Architecture and Software Technology (FhG-FIRST), in particular at the research group for Intelligent Data Analysis (IDA), within the project "Brain-Computer Interface" (BCI). The goal of that project is to design and develop a hardware and software system that is capable of transforming, in real-time, electroencephalographic (EEG) signals (signals retrieved in a non-invasive way from surface electrodes placed over the user's head) into specific commands such that the user gains reliable control over a computer application or a device. In this dissertation, control over a computer application will be represented with "Brain-Gaming", i.e. simple computer games like Ping-Pong, Pacman or Tetris. To this end, substantial considerations were made on the design and realization of a communication interface and its corresponding protocol. A further important component of every control operation is its strategy and the control alphabet, i.e. the command set. For this purpose, several control strategies were developed, implemented and proved experimentally in different scenarios. The most important aspect of the design and development of these interfaces turned out to be their flexibility. Control over a device could include the steering and moving of a wheel-chair for paralyzed patients or the gaining of control over an arm or foot prosthesis for patients with amputated limbs. The latter was realized here as a computer-based simulation of a virtual limb (e.g. arm), such that it can be tested in future experiments on patients with amputated limbs. In contrast to the "Brain-Gaming" experiments, where the player was equipped with an additional communication channel (one that exists independently of normal communication channels of the human neuromuscular system), the experiments with patients did not require an ultra-fast recognition of the intended movement; i.e. the command signal for a simulated movement can be recognized after the phantom movement is initialized and performed. In experiments with feedback scenarios, which can be resembled as competitive games, several aspects of ultra-fast movement detection could be investigated with reaction tests. This opens new perspectives for the execution of preventive actions in time-critical applications. This dissertation, and the development and implementation of the prototype, is based on well-founded insights into human neurophysiology; one chapter will deal exclusively with these insights. Moreover, a special chapter of this dissertation will also describe the development and implementation of an online prototype of the BBCI system (Berlin Brain-Computer Interface) from the software engineering viewpoint. A number of bio-feedback modules, for gaming and for rehabilitation purposes, were developed within this work and will be presented in detail. Special attention was paid to the influence of the online bio-feedback on the user's behavior.
