Interacting with large high-resolution display workplaces

Abstract

Large visual spaces provide a unique opportunity to communicate large and complex pieces of information; hence, they have been used for hundreds of years for varied content including maps, public notifications and artwork. Understanding and evaluating complex information will become a fundamental part of any office work. Large high-resolution displays (LHRDs) have the potential to further enhance the traditional advantages of large visual spaces and combine them with modern computing technology, thus becoming an essential tool for understanding and communicating data in future office environments. For successful deployment of LHRDs in office environments, well-suited interaction concepts are required. In this thesis, we build an understanding of how concepts for interaction with LHRDs in office environments could be designed. From the human-computer interaction (HCI) perspective three aspects are fundamental: (1) The way humans perceive and react to large visual spaces is essential for interaction with content displayed on LHRDs. (2) LHRDs require adequate input techniques. (3) The actual content requires well-designed graphical user interfaces (GUIs) and suitable input techniques. Perceptions influence how users can perform input on LHRD setups, which sets boundaries for the design of GUIs for LHRDs. Furthermore, the input technique has to be reflected in the design of the GUI. To understand how humans perceive and react to large visual information on LHRDs, we have focused on the influence of visual resolution and physical space. We show that increased visual resolution has an effect on the perceived media quality and the perceived effort and that humans can overview large visual spaces without being overwhelmed. When the display is wider than 2 m users perceive higher physical effort. When multiple users share an LHRD, they change their movement behavior depending whether a task is collaborative or competitive. For building LHRDs consideration must be given to the increased complexity of higher resolutions and physically large displays. Lower screen resolutions provide enough display quality to work efficiently, while larger physical spaces enable users to overview more content without being overwhelmed. To enhance user input on LHRDs in order to interact with large information pieces, we built working prototypes and analyzed their performance in controlled lab studies. We showed that eye-tracking based manual and gaze input cascaded (MAGIC) pointing can enhance target pointing to distant targets. MAGIC pointing is particularly beneficial when the interaction involves visual searches between pointing to targets. We contributed two gesture sets for mid-air interaction with window managers on LHRDs and found that gesture elicitation for an LHRD was not affected by legacy bias. We compared shared user input on an LHRD with personal tablets, which also functioned as a private working space, to collaborative data exploration using one input device together for interacting with an LHRD. The results showed that input with personal tablets lowered the perceived workload. Finally, we showed that variable movement resistance feedback enhanced one-dimensional data input when no visual input feedback was provided. We concluded that context-aware input techniques enhance the interaction with content displayed on an LHRD so it is essential to provide focus for the visual content and guidance for the user while performing input. To understand user expectations of working with LHRDs we prototyped with potential users how an LHRD work environment could be designed focusing on the physical screen alignment and the placement of content on the display. Based on previous work, we implemented novel alignment techniques for window management on LHRDs and compared them in a user study. The results show that users prefer techniques, that enhance the interaction without breaking well-known desktop GUI concepts. Finally, we provided the example of how an application for browsing scientific publications can benefit from extended display space. Overall, we show that GUIs for LHRDs should support the user more strongly than GUIs for smaller displays to arrange content meaningful or manage and understand large data sets, without breaking well-known GUI-metaphors. In conclusion, this thesis adopts a holistic approach to interaction with LHRDs in office environments. Based on enhanced knowledge about user perception of large visual spaces, we discuss novel input techniques for advanced user input on LHRDs. Furthermore, we present guidelines for designing future GUIs for LHRDs. Our work creates the design space of LHRD workplaces and identifies challenges and opportunities for the development of future office environments.

Große Bildflächen bieten eine einzigartige Möglichkeit, komplexe Informationen visuell aufzubereiten und zu kommunizieren. Deshalb werden solche Flächen schon seit Jahrhunderten für vielfältige Inhalte, wie beispielsweise Karten, öffentliche Bekanntmachungen oder künstlerische Darstellungen genutzt. Das Verstehen und Bewerten von komplexen Informationen wird für die Büroarbeit der Zukunft essenziell sein. Große hochauflösende Bildschirme bieten das Potenzial, die Möglichkeiten von Bildflächen mit moderner Computertechnik zu verbinden. Somit können große hochauflösende Bildschirme zu einem wesentlichen Werkzeug für zukünftige Büroarbeit werden. Für die erfolgreiche Verbreitung von großen hochauflösenden Bildschirmen in Büroumgebungen werden wohlgestaltete Interaktionskonzepte benötigt. In dieser Dissertation wird ein Verständnis dafür erarbeitet, wie Interaktionskonzepte für große hochauflösende Bildschirme in Büroumgebungen gestaltet werden können. Aus Sicht der Mensch-Computer-Interaktion sind drei Aspekte fundamental: Erstens ist die Art und Weise, wie Menschen Inhalte auf großen Bildflächen wahrnehmen und auf diese reagieren, wesentlich für Interaktionskonzepte für große hochauflösende Bildschirme. Zweitens: Große hochauflösende Bildschirme benötigen adäquate Eingabetechniken. Und drittens muss der eigentliche Inhalt mithilfe entsprechend gestalteter graphischer Benutzeroberflächen verwaltet werden können. Um zu verstehen, wie Menschen große Informationsmengen visuell wahrnehmen und auf diese reagieren, liegt der Fokus dieser Arbeit auf dem Einfluss der visuellen Auflösung und der physikalischen Bildschirmgröße. Die Ergebnisse zeigen, dass die visuelle Auflösung einen Einfluss auf die wahrgenommene Medienqualität und auf den empfundenen Interaktionsaufwand hat. Des Weiteren zeigen die Ergebnisse, dass Menschen sich auf großen visuellen Flächen leicht einen Überblick verschaffen können, ohne überfordert zu sein. Ist der Bildschirm breiter als zwei Meter, steigt der wahrgenommene körperliche Aufwand bei der Interaktion. Teilen sich mehrere Nutzer einen großen hochauflösenden Bildschirm, passen diese ihr Bewegungsverhalten entsprechend einer kollaborativen oder kompetitiven Aufgabe an. Beim Bau von großen hochauflösenden Bildschirmen sollte berücksichtigt werden, dass höhere Auflösungen und physikalisch größere Bildschirme die Systemkomplexität erhöhen. Geringere Auflösungen bieten ausreichend Bildqualität, um ein effektives Arbeiten zu erlauben, gleichzeitig unterstützen größere Bildflächen den Nutzer dabei, Informationen zu erfassen. Um die Eingabetechniken für große hochauflösende Bildschirme zu verbessern und ein effizientes Interagieren mit großen Informationsmengen zu ermöglichen, werden mittels funktionsfähiger Prototypen neue Konzepte in Benutzerstudien analysiert. So wird deutlich, dass durch gezielte Mauszeigersprünge auf die Blickposition des Benutzers (MAGIC pointing) weit entfernte Ziele schneller selektiert werden können. Es werden zwei Raumgestensets zur Interaktion mit Fenstermanagern auf großen hochauflösenden Bildschirmen präsentiert. Für die kollaborative Datenuntersuchung können sich sowohl gemeinsam als auch separat genutzte Eingabegeräte eignen. Hierzu werden in einer Studie Nutzereingaben mittels persönlicher Tablets mit gemeinsamer Eingabe mithilfe eines einzigen Eingabegerätes verglichen. Die Ergebnisse zeigen, dass bei der Eingabe mittels Tablets die Interaktion als weniger aufwendig empfunden wird. Müssen Parameter durch den Nutzer angepasst werden, ohne dass eine direkte visuelle Rückmeldung möglich ist, kann dies durch den variablen Bewegungs- widerstand eines Schiebereglers erleichtert werden. Es wird deutlich, dass kontextabhängige Eingabetechniken die Interaktion verbessern können. Dabei ist es essenziell, dass der Nutzer sich auf den visuellen Inhalt fokussieren kann und bei Eingaben entsprechend geleitet wird. Um die Erwartungen der Anwender an das Arbeiten mit großen hochauflösenden Bildschirmen zu verstehen, wurden zusammen mit potenziellen Nutzern mögliche Arbeitsplätze gestaltet. Dabei bekam die Anordnung der physikalischen Bild- schirme und die Platzierung des Inhalts besondere Aufmerksamkeit. Bekannte Darstellungstechniken für Desktopumgebungen wurden auf die Anforderungen von großen hochauflösenden Bildschirmen angepasst und in einer Nutzerstudie verglichen. Die Ergebnisse zeigen, dass Nutzer Techniken bevorzugen, die nicht mit bekannten Konzepten im Konflikt stehen. Das Beispiel einer Anwendung zur Darstellung von wissenschaftlichen Veröffentlichungen verdeutlicht, wie Anwendungen von erweitertem Bildschirmplatz profitieren können. Insgesamt ist es wesentlich, dass graphische Benutzerschnittstellen für große hochauflösen- de Bildschirme den Benutzer stärker bei der bedeutungsvollen Anordnung von Inhalten unterstützen als dies bei kleineren Bildschirmen notwendig ist. Somit erlauben diese dem Nutzer, komplexe Inhalte effizienter zu verstehen. Auf der Grundlage der erweiterten Erkenntnisse über die Wahrnehmung von großen Bildflächen werden neue Eingabetechniken diskutiert und Richtlinien für die Gestaltung von graphischen Benutzerschnittstellen präsentiert. In dieser Arbeit wird der Gestaltungsraum für große hochauflösende Bildschirmarbeitsplätze beschrieben und es werden Herausforderungen und Chancen für die Entwicklung von Büroumgebungen der Zukunft identifiziert.