Multiple displays are commonly used in meetings and discussion rooms.
These settings provide new challenges for designing fluid interaction
across displays. For instance, a list of primitive interaction tasks in
such environments has not been investigated in literature. In addition,
past researchers have carried out their research using mobile phones as
input devices to control displays. However, it is still unclear whether an
input device with an integrated display can improve the performance of
multi-display interaction tasks.

This research contributes to the design space of the multi-display
environments (MDE) in two aspects. Its first contribution is theoretical, as
it lists the primitive interaction tasks for MDEs. The indicated primitive
tasks are: object selection, object transfer and focusing-brushing-linking
in collaborative MDE, as well as visualization gallery as an extension to
the list of primitive tasks for single-display interaction. This list helps
interaction designers, who design new input devices, to be aware of the
tasks that the device should support. Furthermore, it can be used as
criteria to evaluate novel input devices.


The second contribution of this research is practical and it is aimed at
answering the following research questions, which the state-of-the-art
techniques have left unanswered.


Does a mobile input device with an integrated display improve
performing cross-display interaction tasks?
The idea behind this research was to compare two devices, one of which
has an integrated display whereas the other does not. To answer the
research question, a working prototype, called PrIME prototype, was
implemented. This was done using a laser-pointing device and an iPhoneas two alternative input devices for MDEs.
A user study was conducted to compare these devices according to their
performance, as well as for the users’ subjective feedback. The outcome
of the experiment indicated that the iPhone is better suited at selecting
overlapping objects, objects that are small, and objects which are at a
distance. Although it was hypothesized that the laser-pointing device
might be quicker than the iPhone to select larger objects, the paired
sampling t-test did not prove any significant difference between the two.
Transferring one object from one display to another was significantly
quicker using the iPhone. Surprisingly, the iPhone was not quicker at
transferring more objects from one display to two other displays. In fact,
the result of the t-test showed no significant difference. It was expected
that the iPhone would be quicker in performing more complex tasks,
namely where several tasks are done one after another. This was assumed
given that the iPhone has a clipboard which can save the selected objects
and which the user can carry around.
The users’ subjective feedback showed that the iPhone was considered
significantly better than the laser-pointing device. This is because it was
regarded as easier to use, more accurate for object selection, less tiring to
carry and it also responded quicker to the users’ input.


Using an iPhone as an input device to control a large display, which
GUI and which ordering algorithm would be the most preferable
according to the users’ performance and subjective feedback?
Three different visualizations were implemented, namely CoverFlow,
ZoomGrid and DisplayMap. For the last two visualizations, three
different algorithms were used to put objects in order. Therefore, each
user tested seven different conditions. A user study was conducted to
compare these seven conditions. As the result of the experiment indicated,
CoverFlow visualization is significantly slower than the other two GUIs,
therefore, it is not appropriate for these sort of tasks.


DisplayMap and ZoomGrid were both similarly fast. In fact, no significant
difference was indicated. According to the subjective feedback by the
users, the ZoomGrid GUI was preferable, because it showed a good
overview of the existing objects.


What application domain can benefit from the PrIME prototype?
To show the application of the PrIME prototype concept in a real life
scenario, CrossStorm prototype was implemented. CrossStorm supports
users in brainstorming sessions. Users can make, delete, and move
the post-its across displays using an iPhone as an input device. This
prototype allowed two users to use two iPhones simultaneously, which
gave users the possibility of using more iPhones to share their ideas with
other members of their group.


Lessons learned from the design and implementation of these prototypes
showed the impacts of using a mobile input device with an integrated
display for cross-display interaction.

Sowohl im unternehmerischen als auch im universitären Bereich
kommen zur Unterstützung interaktiver Arbeitssituationen sogenannte
Multi-Display-Umgebungen immer häufiger zum Einsatz. Dabei werden
mehrere Bildschirmgeräte meist ganz unterschiedlicher Art und Größe
verwendet, die so vernetzt sind, dass sie miteinander interagieren
können. So können z.B. Objekte von einem Bildschirm auf einen anderen
bewegt werden. Daher eignet sich eine Multi-Display-Umgebung u.a.
insbesondere für interaktive Gruppenarbeit.
Solche interaktiven Umgebungen stellen den Interaktionsdesigner
vor einige Herausforderungen, insbesondere in Hinblick auf die
reibungslose Zusammenarbeit der verschiedenen Bildschirmgeräte
untereinander. Bis heute ist jedoch noch nicht untersucht worden, welche
Interaktionsaufgaben dabei überhaupt eine wichtige Rolle spielen.
Darüber hinaus ist die Verwendung von Mobiltelefonen als
Eingabegeräte für größere Bildschirme zwar gegenwärtig Thema
vieler Veröffentlichungen, jedoch wurde bisher noch nicht untersucht,
ob ein Eingabegerät mit integriertem Bildschirm die Ausführung von
Interaktionsaufgaben zwischen verschiedenen Displays verbessern kann.
Die vorliegende Arbeit deckt zwei Bereiche des Interaktionsdesigns für
Multi-Display-Umgebungen ab. Als erstes wird im theoretischen Teil
ein Satz primitiver Interaktionsaufgaben vorgestellt. Dieser beinhaltet
folgende Aufgaben: Objektauswahl, Objektverschiebung sowie Fokus,
Brushing und Linking in kollaborativen Multi-Display-Umgebungen.
Durch den vorgestellten Aufgabensatz erh¨alt der Interaktionsdesigner eine Vorgabe, welche Interaktionsaufgaben beim Entwurf neuer
Eingabegeräte für Multi-Display-Umgebungen am wichtigsten sind.
Weiterhin kann diese Liste auch als Kriterium für die Evaluation von
Eingabegeräten hilfreich sein.
Im zweiten, experimentellen Teil wird der vorher definierte Aufgabensatz
genutzt, um folgende Forschungsfragen zu adressieren, die durch die
aktuelle Forschung bisher nicht bearbeitet worden sind:

Kann ein mobiles Eingabegerät mit integriertem Bildschirm
die Ausführung von primitiven Interaktionsaufgaben in einer
Multi-Display-Umgebung verbessern?
Um diese Fragestellung zu beantworten, wurden zwei Eingabegeräte, je
eines mit und eines ohne Bildschirm, prototypisch implementiert und
gegenüber gestellt. Dazu wurden im Prototyp PrIME ein iPhone und
ein spezieller Laserpointer als potenzielle Eingabegeräte genutzt. Die
Performanz der Geräte wurde verglichen, außerdem wurde in einer
Benutzerstudie die Akzeptanz der Benutzer erfragt.
Das Ergebnis dieser Studie hat gezeigt, dass das iPhone besser geeignet
ist, umüberlappende, kleine oder weit entfernte Objekte auszuwählen.
Obwohl in der Hypothese angenommen wurde, dass das iPhone für die
Auswahl großer Objekte schneller als der Laserpointer wäre, wurde im
Pair Sampling T-Test kein signifikanter Unterschied zwischen den beiden
Eingabegeräten gefunden.
Bei der Verschiebung einzelner Objekte von einem Bildschirm zum
anderen war die Verwendung des iPhones signifikant schneller. Im
Gegensatz dazu wurde für das Verschieben mehrerer Objekte von einem
Bildschirm auf zwei weitere kein Geschwindigkeitsvorteil ermittelt.
Dies ist insofern überraschend, weil zuvor angenommen wurde, dass
komplexe Aufgaben schneller mit dem iPhone auszuführen wären, da
alle ausgewählten Objekte im Clipboard zu sehen waren.
Die Benutzerbefragung ergab, dass das iPhone als signifikant besser
empfunden wurde. Als Gründe wurden angegeben: einfachere
Bedienung, präzisere Objektauswahl, bessere Handlichkeit und schnellere Rückmeldung zu Benutzereingaben.
Welche grafischen Benutzeroberflächen und Anordnungsalgorithmen
werden vom Benutzer bevorzugt und sind bezüglich der Performanz
geeigneter, um große Bildschirme per iPhone fern zu steuern?
Für diese Forschungsfrage wurden drei verschiedene
Visualisierungstypen implementiert: CoverFlow, ZoomGrid und
DisplayMap. Für ZoomGrid und CoverFlow sind jeweils drei
verschiedene Anordnungsalgorithmen verwendet worden. Im Rahmen
einer Benutzerstudie wurden jeweils alle sieben Benutzer-oberflächen
getestet. Das Ergebnis zeigt, dass CoverFlow im Vergleich zu den anderen
beiden Visualisierungstypen signifikant langsamer und daher für solche
Aufgaben nicht geeignet ist.

Zwischen DisplayMap und ZoomGrid ist jedoch kein signifikanter
Unterschied bezüglich der Performanz festgestellt worden. Die
Benutzerbefragung ergab eine Präferenz für ZoomGrid, was mit der
gesteigerten Übersichtlichkeit der Objektanzeige begründet wurde.

Welche Anwendungsbereiche können vom PrIME-Prototyp profitieren?
Die Umsetzung des PrIME-Konzepts in realen Situationen wurde mit der
Implementierung des CrossStorm Prototyps geschaffen. CrossStorm hat
zur Aufgabe, Benutzer bei Brainstorming-Sitzungen zu unterstützen.
Benutzer können ihr iPhone verwenden, um Post-Its (Notizzettel) zu
generieren, zu löschen oder zwischen Bildschirmen zu verschieben.

Dieser Prototyp erlaubt die gleichzeitige Interaktion zweier Nutzer
mit jeweils einem iPhone. Im Vergleich zu der Manipulation durch
ein einzelnes iPhone erleichtert dies den Austausch von Ideen in einer
Arbeitsgruppe.

Das vorliegende Ergebnis zeigt, welche Vorteile ein Eingabegerät mit
integriertem Bildschirm in Multi-Display-Umgebungen bietet.