Real-time speech separation with deep attractor networks on an embedded system

URN urn:nbn:de:gbv:18-228-7-2501
URL
Dokumentart: Masterarbeit, Diplomarbeit
Institut: Fachbereich Informatik
Sprache: Englisch
Erstellungsjahr: 2020
Publikationsdatum:
Freie Schlagwörter (Deutsch): Sprechertrennung , Neuronale Netzwerk Komprimierung , LSTM , Eingebettetes System
Freie Schlagwörter (Englisch): Speech Separation , Neural Network Compression , LSTM , Embedded System
DDC-Sachgruppe: Informatik
BK - Klassifikation: 54.75

Kurzfassung auf Englisch:

In this work, we investigate the applicability of the Online Deep Attractor Network (ODANet) for real-time speech separation on an embedded system with limited processing resources. To optimize the ODANet for a resource constrained environment, we extensively evaluate two different reduction methods. First, we present a detailed analysis of complexity reduction via hyper-parameter tuning of the ODANet and second, we introduce a compression method for long short-term memory (LSTM) layers to the ODANet architecture. While our results suggest that real-time capability is possible for a desktop computer with these methods, it is not achievable for an embedded device like the NVIDIA Jetson Nano while maintaining an acceptable separation performance. In further findings, we show that the utilized compression method for LSTMs is superior to hyper-parameter tuning in terms of finding a good trade-off between low processing time and separation performance. Furthermore, we want to highlight that this work is the first to our knowledge to give an extensive description of a singular value decomposition based compression method for LSTMs including an open-source implementation available at https://github.com/sp-uhh/compressed-lstm .

Hinweis zum Urherberrecht

Für Dokumente, die in elektronischer Form über Datenenetze angeboten werden, gilt uneingeschränkt das Urheberrechtsgesetz (UrhG). Insbesondere gilt:

Einzelne Vervielfältigungen, z.B. Kopien und Ausdrucke, dürfen nur zum privaten und sonstigen eigenen Gebrauch angefertigt werden (Paragraph 53 Urheberrecht). Die Herstellung und Verbreitung von weiteren Reproduktionen ist nur mit ausdrücklicher Genehmigung des Urhebers gestattet.

Der Benutzer ist für die Einhaltung der Rechtsvorschriften selbst verantwortlich und kann bei Mißbrauch haftbar gemacht werden.