Development of a multimodal, universal human-machine-interface for hypovigilance-management-systems

Abstract

The development and evaluation of a universal, multimodal HMI for Hypovigilance-Management-Systems (HVMSs) is described. In principles, Hypovigilance-Management- Systems measure the state of vigilance of the respective user and take according measures if a critical state of hypovigilance with respect to the work task of the user is reached, i.e., warn the user on different levels of urgency and might try to keep the user awake for a short period. Hypovigilance is a key cause for severe accidents in various application scenarios, among them the transportation sector and the shift working industry. Clearly, countermeasures are to be considered. Primary measures, such as the proper design of shift cycles, intend to prevent the creation of hypovigilance itself. Where this is not possible, technical countermeasures, so called HVMSs can support the user and increase safety. The main influencing factors for hypovigilance were discussed and it was concluded that HVMSs should cause the user to stop his/her dangerous work task and go to sleep or, at least, take a power nap. A requirements analysis with respect to HVMS has been conducted. It was concluded that a universal HVMS needs to be mobile, should have predictive warning capabilities and aim for a high compliance of the user with the system. Then, general requirements for the interaction strategy, i.e., the warning strategy, as well as its implication in physical HMI-elements were deduced. Basic design guidelines were summarized on the basis of the current psychological and human factors literature. In the same way, usability and personalization issues were discussed and the benefit of designing a most universal system was pointed out. On the basis of the requirements for a HVMS, 18 existing HVMS were investigated. It was concluded that none of these systems fulfils the requirements both for the warning strategy and the HMI-elements. However, it was claimed that it is principally possible to generate a HVMS setup that fulfils all of the requirements. Furthermore, it was claimed that, by fulfilling these requirements, this system would effective in terms of the reduction of errors and the enhancement of performance in real working tasks. Consequently, the development of such a system was pursued and a new hybrid, multi-tiered-development approach was followed. A detailed warning strategy resulted which features three warning modes, a normal mode in which the actual vigilance state is displayed, a cautionary mode in which the user is warned early before dangerous vigilance degradations occur, and an imminent mode in which the user is intensively warned that a very dangerous vigilance level has been reached. The latter mode is augmented by a vigilance maintenance mode. In the same way, according HMI-elements were developed. The center of the physical HMI-setup is represented by a watch-like device. The border ring of the “clock-face” is used as a status indicator; it is lighted green, yellow or red, according to the detected user state. The center of the “clock-face” flashes white in case of an imminent alarm and acts as a push-button for the user feedback at the same time. In addition, a vibration device was developed to present haptic stimuli. Finally, a specific headphone was chosen to display audio signals. By the way of methodological construction, the developed HVMS inherently fulfils the requirements defined above, proving that it is indeed possible to construct a system which fulfills these requirements. Usability testing showed that the system, overall, was well designed. The HVMS constructed was tested in a practical experiment for effectiveness. An industrial work task was analyzed and mapped to a practical laboratory task in order to control most influencing factors. A homogeneous sample was chosen and randomly divided into three groups, a control group with no intervention, a treatment group using the system developed and a positive control group using a system with random output. The experiments included a training session, a baseline measurement in the evening, and, after a night of sleep deprivation, the actual data measurement in the morning. It could be shown that the dependent variables were chosen meaningfully, and that the experimental design was well done, resulting in a valid test set-up. By the results, an increase in safety by HVMSs was assumed to be reached twofold: On the one hand, the system could help the user to learn to better judge his/her own level of sleepiness by getting objective vigilance feedback. On the other hand, if the user complies with the system (which is very likely by the above results), and stops his/her dangerous work task such as working on a dangerous machine or driving a car, obviously, the risk of an accident would be reduced.

Schläfrigkeit bzw. Hypovigilanz nimmt in den westlichen Nationen stetig zu. Grund hierfür sind u.a. die moderne 24h-Gesellschaft sowie die gestiegenen Anforderungen einer globalisierten Arbeitswelt. Dies ist arbeitswissenschaftlich bedeutsam, da Hypovigilanz eine der Hauptunfallursachen in verschiedenen Arbeitsumfeldern, wie z.B. im Verkehr oder in Produktionsbetrieben mit Schichtarbeit ist. Trotz primärer Gegenmaßnahmen, wie z.B: adäquater Schichtplan-Gestaltung, kann die Entstehung von Hypovigilanz nicht immer ausgeschlossen werden, was sich in den Unfallstatistiken widerspiegelt. In diesen Fällen wir davon ausgegangen, dass sog. Hypovigilanz-Management-Systeme (HVMSe) maßgeblich zur Senkung des Unfallrisikos beitragen können. Diese Systeme mes-sen Schläfrigkeit und warnen den Nutzer, z.B. einen Maschinenbediener, mittels geeigneter Warnstrategien und Mensch-Maschine-Schnittstellen (MMS) rechtzeitig.

Bei der Auswertung des Stands des Wissens wurden folgende Defizite ermittelt:

1) Bisherige Forschungsansätze bzw. aktuelle Systeme fokussieren auf die Sensorik, die Mensch-Maschine-Schnittstelle als für die Effizienz maßgeblicher Systemteil wird nur rudimentär berücksichtigt: a. Eine arbeitswissenschaftlich fundierte, mehrstufige Warnstrategie wird nicht verfolgt, was die Effektivität der Ansätze in Frage stellt. b. Eine universelle Einsetzbarkeit in Arbeitssystemen verschiedener Systemdynamik und verschiedener Mobilitätsgrade des Nutzers ist nicht gegeben, was die breite Anwendbarkeit und damit die Effizienz der Systeme stark einschränkt. 2) Keiner der bekannten Ansätze bzw. keines der bekannten Systeme wurde bisher hinsichtlich seiner Effektivität in der Praxis, also hinsichtlich der Reduktion von Fehlern und Unfällen oder einer evtl. Steigerung der Arbeitsleistung untersucht.

Auf der Basis dieser Problemstellung wurden zwei Forschungshypothesen formuliert: Zum einen, dass es möglich ist, ein System zu generieren, das sowohl arbeitswissenschaftlichen Gestaltungs-regeln entspricht als auch im obigen Sinne „universell“ ist. Zum anderen, dass ein solches System effektiv ist, d.h., dass es in der Praxis Fehlerhäufigkeiten reduziert und evtl. die Leistungszahlen verbessert. Ziel der Arbeit war daher die Entwicklung und Evaluation eines solchen HVMS.

Um aktuelle Systeme angemessen einschätzen und ggf. ein neues System gestalten zu können, wurden zunächst bekannte Modelle der Schläfrigkeitsregulation zusammengefasst. Ebenso wurden arbeitswissenschaftliche Anforderungen an ein ideales HVMS definiert. Auf dieser Grundlage wurden bestehende Systeme und Ansätze analysiert und die oben beschriebenen Defizite herausgearbeitet; in keinem Fall wurden die Anforderungen gänzlich erfüllt. Es zeigte sich, dass es problematisch ist, zu einem frühen Zeitpunkt detaillierte Systemanforderungen aus den Anwendungsfeldern zu extrahieren. Daher wurde ein hybride, systematische Entwicklungsmethode geschaffen, in der eine theoriegetriebene Entwicklung verschiedene Konstruktionsvariablen offen lässt, die erst relativ spät im Entwicklungsprozess anhand spezifischer Systemanforderungen aus den Anwendungsfeldern festgelegt werden. Anhand dieser Methode und einer detaillierten Analyse der Systemanforderungen von 9 repräsentativen Anwendungsfeldern wurde ein multimodales Warnsystem entwickelt, welches den arbeitswissenschaftlichen Gestaltungskriterien entspricht und universell einsetzbar ist, womit die erste Forschungshypothese bestätigt wurde. Die Effektivität wurde in einem Experiment untersucht, bei dem die Arbeitsaufgaben eines typischen Schichtarbeiters in der industriellen Produktion auf ein standardisiertes Laborexperiment übertragen wurden. Es wurden Versuche mit 24 schlafdeprivierten Versuchspersonen durchgeführt. Das System wurde von den Versuchspersonen durchwegs positiv bewertet. Eine kurzfristige Wirksamkeit des Systems konnte allerdings nur bedingt gezeigt werden. Da das System jedoch eine hohe Akzeptanz zeigt und die Versuchspersonen den Anweisungen des Systems folge leisteten, kann von einem langfristig positiven Effekt ausgegangen werden, da das System den Nutzer bei gefährlicher Schläfrigkeit anweist, seine Arbeit zu unterbrechen und sich zu regenerieren. Ebenso konnte gezeigt werden, dass das System u.a. zu einer Risikominimierung beitragen kann, indem es dem Nutzer ermöglicht, durch objektive Rückmeldung langfristig seinen eigenen Schläfrigkeits-Zustand besser einzuschätzen und somit möglichst effiziente Pausen planen zu können. Für die weitere Forschung wurde daher vorgeschlagen, das entwickelte HVMS in einer Langzeitstudie im Feld zu evaluieren.