TU Darmstadt / ULB / TUprints

Interaction Concepts for Knowledge Work on Augmented Desktops

Riemann, Jan (2019)
Interaction Concepts for Knowledge Work on Augmented Desktops.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
diss_genehmigt.pdf - Published Version
Copyright Information: In Copyright.

Download (56MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Interaction Concepts for Knowledge Work on Augmented Desktops
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Borchers, Prof. Dr. Jan
Date: 2019
Place of Publication: Darmstadt
Date of oral examination: 20 December 2018
Abstract:

With the proliferation of computers in today's workplaces, work processes have changed: Especially in the field of knowledge work, which heavily relies on the use of information sources, electronic documents have become commonplace. However, despite the advantages of digital systems, like global access to information or advanced search facilities, physical media have not yet vanished. The amount of paper used is even still increasing. Even digitally available documents are often printed in order to leverage the unique affordances of printed paper (e.g., its flexibility, low weight, etc.). Another particular advantage of physical media on physical desks is their aptitude to support the spatial layout of sets of documents (e.g., piling or spreading them out or assigning categories to them through their spatial position, e.g., by placing them in the storage area vs. working area, or even more specialized areas on the desk for categories like "to be read" or "urgent"). As a result, most work processes do not only require the use of either digital or physical documents but the concurrent use of both types. We use the term "hybrid" to denote this concurrent use.

As of today, there is still only quite limited support for work practices that encompass digital and physical documents concurrently. According to common practice at stationary workplaces, digital documents are stored on a computer and viewed on a monitor in front of the user, while physical documents are placed on a desk, leading to a strict separation of digital and physical documents.

For several years, so-called digital tabletops have been available: desks with a large flat display acting as the desk surface, supplemented with touch-sensing capabilities. In principle, it is now possible for digital and physical documents to coexist on the table surface, laying the foundation for more sophisticated working practices. However, more than a decade since the advent of tabletops, the integration of digital and physical knowledge work still leaves a lot to be desired. Where digital tabletops are used today, their surface is always kept entirely clean of physical objects so as not to obstruct any of the interactive display surface. Since this is a quite alien use pattern for desks, tabletops have not yet gained a reasonable market share.

The primary goal of this thesis is to foster tighter integration between the digital and physical worlds. To do so, it first contributes the PeriTop concept, a two-class display concept that leverages the surfaces of objects as a secondary peripheral display in addition to the primary tabletop display. PeriTop serves as a basis for several further contributions presented in this thesis. All further contributions together are categorized into three main areas, namely, stationary hybrid knowledge work, layout for hybrid environments, and mobile workspaces.

In the first area, stationary hybrid knowledge work, this thesis contributes (1) ProjecTop, a novel concept for leveraging the surface of occluding objects to resolve occlusion "in situ" without the need for using additional display space on the tabletop, and (2) the StackTop concept for hybrid stacking, which allows arbitrary interweaving of digital and physical documents in a coherent stack.

In the second area, layout for hybrid environments, this thesis contributes (1) FreeTop, a flexible approach for assessing projection quality on surfaces in order to facilitate projection-based augmentation of physical objects, and (2) the FlowPut concept, an environment-aware layout system for interactive tangibles based on FreeTop.

In the third area, mobile workspaces, the aspect of mobile work in the context of hybrid work environments is tackled by contributing PiraTop, a concept for augmented reality (AR)-based remote access to stationary hybrid workspaces. It leverages the idea of spatial memory to facilitate access.

The final contribution of this thesis is the OverTop concept. OverTop combines the advantage of AR and the knowledge gained with PiraTop with the contributions on stationary desks, particularly PeriTop. Therefore, it considers head-mounted augmented reality displays as an addition to stationary tabletops, making the space above the desk surface and above the objects that populate the desk available for hybrid knowledge work.

The thesis concludes with a summary and an outlook on future work directions.

Alternative Abstract:
Alternative AbstractLanguage

Durch die Verbreitung von Computern an heutigen Arbeitsplätzen haben sich die Arbeitsprozesse verändert: Gerade im Bereich der Wissensarbeit, die stark auf die Nutzung von Informationsquellen angewiesen ist, sind elektronische Dokumente alltäglich geworden. Trotz der Vorteile digitaler Systeme, wie globaler Zugang zu Informationen oder erweiterte Suchmöglichkeiten, sind physische Medien jedoch noch nicht verschwunden. Im Gegenteil, der Papierverbrauch steigt sogar noch weiter an. Selbst digital verfügbare Dokumente werden oft gedruckt, um die Vorteile von bedrucktem Papier (z.B. Flexibilität, geringes Gewicht, etc.) zu nutzen. Ein weiterer Vorteil physischer Medien auf physischen Schreibtischen ist die Möglichkeit Dokumente räumliche anzuordnen (z.B. sie zu stapeln oder auszubreiten, sie -- durch ihre räumliche Position -- zu kategorisieren, z.B. durch Platzieren im Lagerbereich oder Arbeitsbereich des Schreibtischs, oder durch Nutzung noch weiter differenzierter Bereiche auf dem Schreibtisch für Kategorien wie "zu lesen" oder "dringend"). Infolgedessen erfordern die meisten Arbeitsprozesse nicht nur die Verwendung von digitalen oder physischen Dokumenten, sondern die gleichzeitige Nutzung beider Dokumentarten. Diese gleichzeitige Nutzung digitaler und physischer Dokumente wird in dieser Arbeit als "hybrid" bezeichnet.

Bis heute gibt es nur eine sehr begrenzte Unterstützung für Arbeitspraktiken, die digitale und physische Dokumente gleichzeitig umfassen. Üblicherweise werden digitale Dokumente auf einem Computer gespeichert und auf einem vor dem Benutzer stehenden Monitor betrachtet, während physische Dokumente auf dem Schreibtisch abgelegt werden, was zu einer strikten Trennung von digitalen und physischen Dokumenten führt.

Seit einigen Jahren gibt es so genannte digitale Tabletops: Tische mit einem großen Bildschirm mit integrierter Toucherkennung als Tischoberfläche. Prinzipiell ermöglichen solche Tabletops, dass digitale und physische Dokumente auf der Tischoberfläche koexistieren und schaffen somit die Grundlage für integriertere Arbeitsabläufe. Mehr als ein Jahrzehnt nach dem Aufkommen von Tabletops lässt die Integration von digitaler und physischer Wissensarbeit jedoch noch immer viel zu wünschen übrig. Werden heute Tabletops verwendet, wird ihre Oberfläche nach Möglichkeit immer völlig frei von physischen Gegenständen gehalten, um die interaktive Displayoberfläche nicht zu verdecken. Diese Nutzung steht im Widerspruch zur klassischen Nutzung von Schreibtischen, die grade dazu dienen, physische Gegenstände abzulegen. Als Folge davon haben Tabletops noch immer keinen größeren Marktanteil gewonnen.

Das Hauptziel dieser Arbeit ist es, eine engere Integration zwischen der digitalen und der physischen Welt zu fördern. Dazu trägt sie zunächst das PeriTop Konzept bei, ein Zweiklassen-Displaykonzept, das die Oberflächen von Objekten als sekundäre periphere Displays neben dem primären Tabletopdisplay nutzt. PeriTop dient als Grundlage für mehrere weitere Beiträge, die in dieser Arbeit vorgestellt werden. Alle weiteren Beiträge sind in drei Hauptbereiche unterteilt, nämlich stationäre hybride Wissensarbeit, Layout für hybride Umgebungen und mobiles Arbeiten.

Im ersten Bereich, der stationären hybriden Wissensarbeit, stellt diese Arbeit zwei Konzepte vor: (1) ProjecTop, ein neuartiges Konzept zur Nutzung der Oberfläche von physischen Objekten zur in situ Auflösung von Verdeckung ohne die Notwendigkeit der Nutzung zusätzlicher Displayfläche auf dem Tabletop, und (2) das StackTop Konzept für hybrides Stapeln, das eine beliebige Anordnung von digitalen und physischen Dokumenten in einem zusammenhängenden Stapel ermöglicht.

Im zweiten Bereich, Layout für hybride Umgebungen, stellt diese Arbeit ebenfalls zwei Konzepte vor: (1) FreeTop, einen flexiblen Ansatz zur Beurteilung der Projektionsqualität auf Oberflächen, um eine projektionsbasierte Augmentierung physikalischer Objekte zu ermöglichen, und (2) das FlowPut-Konzept, ein sich dynamisch an die Umgebung anpassendes Layout-System für interaktive Tabgibles auf Basis von FreeTop.

Im dritten Bereich, mobiles Arbeiten, wird der Aspekt der mobilen Arbeit im Kontext hybrider Arbeitsumgebungen betrachtet, indem PiraTop, ein Konzept für den Augmented Reality (AR)-basierten Fernzugriff auf stationäre hybride Arbeitsplätze, vorgestellt wird. PiraTop basiert auf der Idee der Nutzung des räumlichen Gedächtnisses, um den Zugang zu Informationen zu erleichtern.

Der letzte Beitrag dieser Arbeit ist das OverTop Konzept. OverTop kombiniert den Vorteil von AR und das mit PiraTop gewonnene Wissen mit den Beiträgen auf stationären Schreibtischen, insbesondere PeriTop. OverTop nutzt dazu Augmented Reality Brillen als Ergänzung zu stationären Tabletops, die den Raum über der Tischoberfläche und über den Objekten, die sich auf dem Schreibtisch befinden, für hybride Wissensarbeit nutzbar machen.

Die Arbeit schließt mit einer Zusammenfassung und einem Ausblick auf weiterführende Forschungsthemen ab.

German
URN: urn:nbn:de:tuda-tuprints-83264
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Telecooperation
Date Deposited: 31 Jan 2019 11:48
Last Modified: 09 Jul 2020 02:28
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/8326
PPN: 442125003
Export:
Actions (login required)
View Item View Item