Comparison of research methods to evaluate visual augmentations for assisted tool use

Abstract

In this thesis, we will conduct a replication study of existing work by Voit et al., which examined the influence of the research method when evaluating smart artifacts. They compared five research methods, namely Online Survey, Virtual Reality (VR), Augmented Reality (AR), Laboratory (Lab) and In-Situ in a study with 60 participants, who should evaluate four different smart artifacts. For our replication study, we will exchange the smart artifacts with four tasks related to assembling furniture and woodwork, while also shifting the interest to the subject of visualization through visual guides. Our results show no significant effect of the research method on the questionnaire results or completion times, which is in direct contrast to the previous work by Voit et al. We are discussing factors such as the used technology, which could explain the different results compared to the original study. We also argue, that prior experience with the respective tasks and the utilities of the evaluated prototypes may have an influence on the results. Further, we suggest follow-up examinations, to determine when the method has a significant effect.

In dieser Bachelorarbeit werden wir eine Replikationsstudie der Arbeit von Voit et al., welche den Einfluss der Forschungsmethode bei der Evaluation von Smart Artifacts untersucht haben, durchführen. Dort wurden in einer Studie fünf Forschungsmethoden verglichen, nämlich Onlineumfrage, Virtual Reality (VR), Augmented Reality (AR), Labor und In-Situ. An dieser Studie nahmen 60 Personen teil, welche vier verschiedene Smart Artifacts bewerten sollten. Für unsere Replikationsstudie werden wir die Smart Artifacts durch vier Aufgaben ersetzen, welche mit Werkzeugbenutzung und Zusammensetzung von Möbeln zu tun haben. Dabei lenken wir den Fokus auf Visualisierungen, welche die Arbeit unterstützen sollen. Unsere Ergebnisse zeigen keinen signifikanten Einfluss der Forschungsmethode auf die Ergebnisse der Fragebögen oder die Bearbeitungszeit. Dies stellt einen Widerspruch zu den Ergebnissen von Voit et al. dar. Wir diskutieren Faktoren wie die genutzten Technologien, welche die Unterschiede zur Originalstudie erklären könnten. Wir argumentieren weiter, dass die vorherigen Erfahrungen mit den jeweiligen Aufgaben und Nützlichkeit der bewerteten Prototypen die Ergebnisse beeinflussen können. Wir suggerieren weitere Experimente durchzuführen, um ein besseres Verständnis dafür zu erlangen, wann die Methode einen Effekt hat.