Context-aware assistive systems for augmented work : a framework using gamification and projection

Abstract

While context-aware assistive systems (CAAS) have become ubiquitous in cars or smartphones, most workers in production environments still rely on their skills and expertise to make the right choices and movements. The quality gates currently established by the industry successfully remove "waste" i.e. failed work results from the workflow, but they usually operate in a spatial and temporal distance from the workplace and the worker. Thus workers lack the opportunity to learn from problems on the fly and to improve their work habits.

Today’s motion recognition systems already allow to continuously analyze work actions. The corresponding middleware can interpret these actions in real-time and micro projectors allow to display work-relevant information directly into a worker’s field of vision. Thus the technical pre-requisites for CAAS with instant feedback directly at the workplace essentially have been established.

Although every worker would benefit from context-aware assistive systems, impaired persons and elderly persons with reduced physical and mental capabilities require such systems the most. CAAS have the potential to empower these persons to do more complex work or to remain in regular jobs longer. Thus they combine economic benefits with inclusion and address the demographic change.

After an overview of the relevant backgrounds from ethics, psychology, comput-er science and engineering as well as the relevant state-of-the-art, we establish requirements which result in a model for ideal CAAS. As the framework aims to improve not only the work results but also the work process and thus the workers' motivation, the model incorporates elements from game design. This process of "gamifying" real-world actions is called gamification.

We describe an exemplary implementation covering essential aspects of the model. The effects of both the augmentation by projection and by gamification are evaluated with impaired persons in a sheltered work organization using empirical methods common in human computer interaction. An additional focus lies on the ethical implications of assistive systems which supervise and model their users in real-time.

While this thesis represents a starting point for research on CAAS in workplaces, important aspects like real-time error tracking or the integration of emotion detection are still subjects of future research. We hope that future CASS based on this work will help to make work not only more productive but also more enjoyable and motivating for workers.

Während kontextbewusste Systeme (context-aware assistive systems: CAAS) in Smartphones und Autos allgegenwärtig geworden sind, verlassen sich Arbeiter in Produktionsumgebungen meist noch auf Fähigkeiten und Erfahrung, um Entscheidungen zu treffen und Arbeitshandlungen richtig durchzuführen. Die derzeit in der Industrie etablierten Qualitätsprüfungen entfernen zwar erfolgreich Ausschuss (d. h. fehlerhafte Produkte) aus dem Durchlauf, werden jedoch meist in räumlicher und zeitlicher Distanz vom Arbeitsplatz betrieben. Daher fehlt den Arbeitern die Möglichkeit, während des Arbeitsprozesses aus Problemen zu lernen und ihr Arbeitsverhalten zu verbessern.

Aktuelle Bewegungserkennungssysteme erlauben es bereits, Arbeitshandlungen kontinuierlich zu analysieren. Die dazugehörige Middleware kann diese in Echtzeit auswerten und Projektoren erlauben es, arbeitsrelevante Informationen direkt in das Blickfeld des Arbeiters projizieren. Damit wurden die technischen Voraussetzungen für arbeitsplatzintegrierte CAAS mit Feedback in Echtzeit geschaffen.

Obwohl jeder Arbeiter von solchen kontextbewussten Systemen profitieren wür-de, ist der Bedarf bei Menschen mit Behinderungen sowie älteren Berufstätigen mit reduzierter körperlicher und geistiger Leistungsfähigkeit am größten. CAAS haben das Potenzial diesen Anwender zu ermöglichen, komplexere Arbeiten zu verrichten oder ihrer regulären Arbeit länger nachzugehen. Damit kombinieren CAAS wirtschaftliche Vorteile mit Inklusion und adressieren den demographischen Wandel.

Auf Basis einer Übersicht von Grundlagen aus den Bereichen Ethik, Psychologie, Informatik und Maschinenbau sowie des relevanten Standes der Technik werden Anforderungen abgeleitet, die in einem Modell idealer kontextbewusster Systeme resultieren. Da diese Systeme darauf abzielen, nicht nur die Arbeitsresultate sondern auch die Motivation der Arbeiter zu steigern, integriert das Modell Elemente aus der Computerspieleentwicklung. Dieser Prozess wird Gamification genannt.

Die exemplarische Implementierung der essentiellen Aspekte des Modells wird beschrieben. Die Auswirkungen der Augmentierung durch Projektion und durch Gamification werden mit behinderten Menschen in einer beschützenden Werkstätte evaluiert. Hierbei werden übliche empirische Methoden der Mensch-Computer-Interaktion angewandt. Ein zusätzlicher Fokus sind die ethischen Implikationen von Assistenzsystemen, welche ihre Anwender in Echtzeit überwachen und modellieren.

Diese Arbeit stellt einen Anfangspunkt für die Forschung zu CAAS im Arbeitsumfeld dar. Wichtige Aspekte wie Fehlererkennung oder Emotionserkennung in Echtzeit sind noch immer offene Forschungsfragen. Wir hoffen, dass zukünftige CASS, die auf dieser Arbeit aufbauen, dabei helfen, Arbeit nicht nur produktiver sondern auch angenehmer und motivierender für die Arbeiter zu gestalten.