Leveraging electromyography to enhance musician-instrument interaction using domain-specific motions

Abstract

Manual interaction tasks, such as playing a musical instrument, require certain amounts of training until users are proficient. Electromyography (EMG) can bridge this gap and is able to provide proficiency feedback without the need for supervision. EMG measures the electrical potential that is related to muscular activity and has been used in Human-Computer-Interaction (HCI) in a variety of applications. This thesis explores the usage of EMG together with domain-specific movements, such as playing guitar chords, in the context of musician-instrument interaction. This includes a review of related work, an evaluation of suitable features, and machine learning methods as well as the realization of an EMG guitar tutor system. The results of this thesis show that it is possible to classify guitar chords with an average F1-measure of 87\%. We identified a trade-off between classifier-accuracy and window size, which is an important finding regarding real-time interaction. Further, we evaluated a guitar tutor system within a study. The results suggest, that electrodes and wires did not limit the participants in playing the guitar. An analysis of inter-person generalizability shows that dimensionality reduction methods can slightly increase the classifier performance. We propose further solutions to enhance the guitar tutor system from a machine learning perspective as well as from an usability perspective. Ultimately, we discuss how our findings can be transferred to related domains.

Manuelle Interaktionen, wie z.B. das Spielen eines Musikinstrumentes, erfordern ein gewisses Maß an Übung, bevor Nutzer diese sicher beherrschen. Elektromyographie (EMG) kann diesen Prozess unterstützen und den Nutzern Feedback geben, ohne diese zu überwachen. EMG misst die, durch Muskelaktivität erzeugten, elektrischen Potentiale und wurde vielfach im Rahmen der Mensch-Computer-Interaktion (MCI) benutzt. Diese Bachelorarbeit untersucht die Verwendung von EMG zusammen mit domän-spezifischen Bewegungen, wie z.B. Gitarren-Akkorden, im Bezug auf die Musiker-Instrument-Interaktion. Diese Untersuchung umfasst einen Überblick verwandter Forschung, eine Evaluierung verschiedener Merkmale (Features) und Methoden des machinellen Lernens, sowie die Entwicklung eines EMG Gitarren-Assistenz-Systems. Die Ergebnisse dieser Bachelorarbeit zeigen, dass Gitarren-Akkorde mit einem durchschnittlichen F1-Wert von 87\% klassifiziert werden können. Desweiteren konnten wir eine Beziehung zwischen der Qualität der Klassifikation und der verwandten Fenster-Größe erkennen. Die Auswertung eines Gitarren-Assistenz-Systems führten wir im Rahmen einer Studie durch. Die Ergebnisse legen nahe, dass die angebrachten Elektroden und Kabel die Teilnehmer nicht beim Gitarrenspielen beeinträchtigt haben. Eine Analyse der Inter-Personen-Generalisierbarkeit zeigte, dass Methoden zur Dimensionalitätsreduktion die Qualität der Klassifikationen leicht verbessern können. Wir beleuchten Lösungen zur Verbesserung des Gitarren-Assistenz-Systems im Kontext des maschinellen Lernens als auch im Hinblick auf die Nutzbarkeit (Usability). Schlussendlich diskutieren wir mögliche Anwendungen unserer Ergebnisse auf verwandte Forschungsbereiche.