TU Darmstadt / ULB / TUprints

Towards Less Supervision for Scalable Recognition of Daily Activities

Stikic, Maja (2010)
Towards Less Supervision for Scalable Recognition of Daily Activities.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
Dissertation_Maja_Stikic.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (8MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Towards Less Supervision for Scalable Recognition of Daily Activities
Language: English
Referees: Schiele, Prof. Dr. Bernt ; Starner, Prof. Dr. Thad
Date: 28 May 2010
Place of Publication: Darmstadt
Date of oral examination: 15 June 2009
Abstract:

This thesis is concerned with scalable recognition of human activities in real-world settings. Research towards this aim has addressed the automated detection of Activities of Daily Living, such as personal hygiene, eating, meal preparation, or housekeeping, as a particularly fruitful endeavor for elderly health care. The focus of this thesis lies on two challenges within these efforts: characterization of daily activities in sensor readings, and practical methods to label these data. We address these challenges by investigating several research directions for unobtrusive activity recognition that require only a limited number of sensors and minimal annotation overhead. We utilize a multi-sensor approach to characterize two important aspects of activities. We use wearable acceleration sensors to infer characteristic body movements and RFID tags in combination with RFID readers to recognize object usage during execution of activities. The benefit of the proposed approach is that it is able to attain high recognition performance even when the number of sensors is significantly decreased to a single wrist-worn sensor and just a few tagged objects. This is achieved by augmenting the learning process with additional information from complementary sensors. We also explore the combination of two types of sensors, namely accelerometers for body-motion and infra-red sensors for detecting indoor location where the activities are performed. The goal of this study is to investigate the applicability of two different techniques to significantly reduce the need for labeled training data. The first technique combines small amounts of labeled activity data with easily obtainable unlabeled data in a semi-supervised learning process. The second technique aims at focusing labeling efforts on the most profitable instances by utilizing active learning. The experimental results indicate that we can achieve comparable and sometimes even better performance than the fully supervised approaches. In order to further enhance the applicability of activity recognition in real-world settings, we propose a novel multi-instance learning method that is able to learn from sparsely labeled data. Instead of requiring labels for each individual training sample, we group sensor data into bags-of-activities and provide the labels only on the bag level. We propose several novel algorithmic extensions of multi-instance learning that support new labeling scenarios allowing less constrained ways of annotating activity data. We systematically analyze the trade-off between the labeling efforts and recognition performance. Lastly, we introduce several graph-based label propagation strategies for enabling long-term activity recordings without the need for detailed continuous activity annotations. We propose two different ways of combining multiple graphs based on data similarity in feature space and time. We carry out a comparative evaluation of this approach and the multi-instance learning approach. We show that the graph-based approach outperforms multi-instance learning. Overall, this thesis demonstrates the feasibility of using unlabeled data for learning more expressive activity classifiers and the potential of multi-sensor approaches to facilitate scalable activity recognition.

Alternative Abstract:
Alternative AbstractLanguage

Diese Arbeit beschäftigt sich mit der skalierbaren Erkennung menschlicher Aktivitäten in anwendungsnahen Situationen. Forschung, ausgerichtet auf die Erkennung von Aktivitäten des täglichen Lebens (ATL), wie zum Beispiel eigene Körperpflege, Nahrungsaufnahme, Essenszubereitung und Führung des Haushalts, stellt sich als interessante Fragestellung im Rahmen der Altenpflege dar. Diese Arbeit konzentriert sich auf zwei Herausforderungen: Die Charakterisierung täglicher Aktivitäten in Sensordaten und eine einfach durchzuführende Annotation dieser Daten. Wir begegnen diesen Herausforderungen, indem wir verschiedene Techniken zur unaufdringlichen Erkennung von Aktivitäten entwickeln, welche zudem nur eine geringe Anzahl von Sensoren und einen minimalen Annotationsaufwand erfordern. Für die Charakterisierung von Aktivitäten verwenden wir einen Multi-Sensor Ansatz. Wir setzen tragbare Beschleunigungssensoren ein, um Rückschlüsse auf charakteristische Körperbewegungen zu ziehen, sowie RFID Tags in Kombination mit RFID Lesegeräten, um die Verwendung verschiedener Objekte während der Ausführung einer Aktivität zu detektieren. Der Vorteil dieser Vorgehensweise liegt darin, dass sie selbst dann hohe Erkennungsraten aufweist, wenn die Anzahl der getragenen Sensoren und markierten Objekte signifikant reduziert wird, so dass z.B. ein einziger Beschleunigungssensor am Handgelenk und wenige Objekte genügen. Möglich wird dies durch die Kombination der Informationen der beiden komplementären Sensortypen. Wir untersuchen weiterhin eine andere Kombination zweier Sensortypen, und zwar Beschleunigungssensoren für Körperbewegungen und Infrarot-Sensoren für die Ortsbestimmung des Nutzers innerhalb eines Gebäudes. Das Ziel dieser Untersuchung ist die Analyse zweier Techniken zur Reduzierung annotierter Trainingsdaten. Die erste Technik kombiniert eine geringe Menge an annotierten Daten mit leicht erlangbaren unannotierten Daten in einem Halb-Überwachten Lernprozess (eng. Semi-supervised Learning). Die zweite Technik zielt darauf ab, den Aufwand für die Annotationen auf die lohnensten Datenpunkte zu konzentrieren. Dies geschieht mit einer Methode namens Aktives Lernen (eng. Active Learning). Die experimentellen Ergebnisse deuten darauf hin, dass wir im Vergleich mit anderen, vollständig überwachten Ansätzen mit unseren Techniken eine vergleichbare und teils sogar bessere Performanz erreichen. Um die Einsetzbarkeit von Aktivitätserkennung in anwendungsnahen Situationen weiter zu erhöhen, schlagen wir einen neuen Multi-Instanz Lernansatz vor, welcher in der Lage ist von spärlich annotierten Daten zu lernen. Statt Annotationen für jedes Trainingsbeispiel vorauszusetzen, gruppieren wir die Sensordaten in Gruppen von Aktivitäten (eng. bags-of-activities) und vergeben Annotationen nur auf der Ebene dieser Gruppen. Wir schlagen ferner mehrere Erweiterungen des Multi-Instanz Ansatzes vor, welche neuartige Annotations-Methoden mit weniger Beschränkungen als herkömmliche Verfahren erlauben. Ausserdem analysieren wir die notwendige Abwägung zwischen Annotationsaufwand und Erkennungsleistung. Im letzten Teil der Arbeit führen wir mehrere graphen-basierte Strategien zur Propagierung von Annotationen ein. Das Ziel hierbei ist die Ermöglichung von langfristigen Aktivitätsaufnahmen ohne die Erfordernis von detaillierten Annotationen der ausgeführten Aktivitäten.Wir schlagen zwei verschiedene Techniken vor, mehrere Graphen anhand von Ähnlichkeiten im Merkmalsraum und in der Zeit zu kombinieren. Wir führen eine vergleichende Studie unserer Technik und dem Multi-Instanz Ansatz durch und zeigen, dass der graphen-basierte Ansatz dem Multi-Instanz Ansatz überlegen ist. Die wichtigsten Beiträge dieser Arbeit sind zum einen der Nachweis, dass nichtannotierte Sensordaten für das Lernen von ausdrucksstarken Klassifikatoren genutzt werden können, sowie das Aufzeigen, dass Multi-Sensor Ansätze grosses Potential im Bezug auf skalierbare Aktivitätserkennung besitzen.

German
Uncontrolled Keywords: ubiquitous computing, context-aware computing, wearable sensing, activity recognition, machine learning, semi-supervised learning
Alternative keywords:
Alternative keywordsLanguage
ubiquitous computing, context-aware computing, wearable sensing, activity recognition, machine learning, semi-supervised learningEnglish
URN: urn:nbn:de:tuda-tuprints-21740
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
Date Deposited: 05 Jun 2010 11:43
Last Modified: 08 Jul 2020 23:45
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/2174
PPN: 223835986
Export:
Actions (login required)
View Item View Item