Searching the real world using stationary and mobile object detection

Abstract

This thesis investigates a new form of search engine, which enables the user to search for objects in the real world, just like traditional search engines locate resources on the Internet. A search engine for the real world is a step towards an Internet of Things, where real-world objects become visible to computer systems. In order to being nonintrusive, the tracking of objects is done using visual object detection. It is examined whether instrumenting the environment or instrumenting the user is more convenient in order to ubiquitously integrate a real-world search-engine into the daily life of a user. To explore those questions, two prototypes are developed and two user studies are conducted. A stationary prototype called Antonius, which instruments the environment, is built. It implements a web-based frontend and a two-dimensional map for representing the location of real-world objects. As a result of the user study, a second mobile prototype called mobile Antonius is built, which instruments the user instead of the environment. It additionally implements a 3D model of the surveyed area to represent the location of sought objects. The results introduce three categories of users represented as personas, which outline the participants' thoughts. Although a visual object detection-based real-world search engine decreases the user's privacy, the user study showed that people are still willing to use such a system for the benefit of never losing an object again. As a result of this research, the mobile system is found to be more convenient regarding privacy and intrusiveness. As well as providing a useful service, the results reveal many promising application areas in personalization, targeting and ubiquitous computing.

Diese Diplomarbeit untersucht eine neue Art von Suchmaschine, die einem Benutzer ermöglicht, Objekte in der realen Welt zu suchen, genauso wie traditionelle Suchmaschinen Ressourcen im Internet finden. Eine Suchmaschine für die reale Welt ist ein Schritt in Richtung Internet of Things, in dem reale Objekte für einen Computer sichtbar werden. Um unaufdringlich zu sein, wird die Erkennung der Objekte mit Hilfe von visueller Objekterkennung durchgeführt. Es wird untersucht, ob ein Ausstatten der Umgebung oder des Benutzers praktischer ist um eine Suchmaschine für die reale Welt allgegenwärtig in den Alltag eines Benutzers zu integrieren. Um diese Fragen zu untersuchen werden zwei Prototypen entwickelt und zwei Benutzerstudien durchgeführt. Es wird ein stationärer Prototyp namens Antonius erstellt, der die Umgebung instrumentiert. Er implementiert ein webbasiertes Frontend und eine zweidimensionale Karte um die Position eines realen Objekts darzustellen. In Folge der Benutzerstudie wird ein zweiter mobiler Prototyp erstellt, der anstatt der Umgebung den Benutzer ausstattet. Außerdem implementiert er ein 3D-Modell der überwachten Umgebung um die Position der gesuchten Objekte anzuzeigen. Die Ergebnisse stellen drei Benutzerkategorien vor, die als Personas dargestellt werden und dadurch die Meinungen der Teilnehmer zusammenfassend gruppieren. Obwohl eine visuelle objekterkennungsbasierte Suchmaschine für die reale Welt in die Privatsphäre eines Benutzers eindringt, würden Leute trotzdem ein derartiges System benutzen um ein Objekt nie wieder zu verlieren. Diese Arbeit zeigt, dass ein mobiles System angenehmer bezüglich Privatsphäre und Aufdringlichkeit empfunden wird. Neben der Bereitstellung eines nützlichen Dienstes zeigen die Resultate dieser Diplomarbeit einige vielversprechende Anwendungsgebiete in Personalisierung, Targeting und Ubiquitous Computing auf.