The last-seen image : an image-based approach for finding lost objects using a head-mounted display

Abstract

Considering the current development of commercial head-mounted displays (HMD), it is likely that HMDs will be widely used in the near future. Therefore, it becomes feasible to build systems that rely on HMD technology. Real-world search engines aim at supporting the user's search capabilities in the real world. HMDs are a possible device to guide a user towards the location of an object. To ensure a high usability, it is essential to find suitable location representations of search results on an HMD. Based on previous findings, we present a novel location representation called "last-seen image" to locate objects in a known environment (e.g. the user’s home or office building). The last-seen image shows the picture of a sought object including the surrounding context of the object. We implemented a prototype on an HMD using WiFi indoor positioning to provide the proposed visualization as well as a map visualization. We conducted a user study comparing our proposed last-seen image approach to a map based approach. The last-seen image showed to be significantly faster for finding harder hidden objects compared to the map representation. However, the map was favored for finding the correct room. Therefore, we propose a hybrid system using the map representation to find the correct room and using the last-seen image to find the object on room-level.

Aufgrund der aktuellen Entwicklung von Head-Mounted Displays (HMD) ist es sehr wahrscheinlich, dass HMDs in Zukunft allgegenwärtig sein werden. Deshalb wird ein System, welches auf der Benutzung von HMDs basiert, realisierbar. Real-World Search Engines unterstützen einen User, verlorene Gegenstände wiederzufinden. HMDs eignen sich zur Repräsentation solcher Suchergebnisse. Um die Benutzbarkeit solcher Systeme zu garantieren, ist es wichtig, eine passende Repräsentationsart zu finden. Aufgrund vorheriger Ergebnisse stellen wir eine neuartige Repräsentationsart zur Objektlokalisierung vor: das Last-Seen Image. Das Last-Seen Image zeigt das Bild eines gesuchten Gegenstandes, welches nicht nur den Gegenstand selbst, sondern auch die Umgebung zeigt. Wir haben einen Prototypen entwickelt, welcher auf einem HMD eine Kartenansicht und das Last-Seen Image bereitstellt. Daraufhin haben wir eine Benutzerstudie durchgeführt, um das Last-Seen Image mit der Kartendarstellung zu vergleichen. Es hat sich gezeigt, dass schwer versteckte Objekte mithilfe des Last-Seen Image deutlich schneller gefunden werden als mit der Kartendarstellung. Jedoch wurde die Karte bevorzugt, um den richtigen Raum zu finden. Deshalb empfehlen wir die Benutzung eines Hybriden Systems, welches die Kartendarstellung verwendet, um den richtigen Raum zu finden. Sobald man sich in dem richtigen Raum befindet wird das Last-Seen Image angezeigt.