Exploring Methods for the Automatic Summarization of Meetings

Language
en
Document Type
Doctoral Thesis
Issue Date
2009-05-29
Issue Year
2009
Authors
Mieskes, Margot
Editor
Abstract

In this thesis I present work on the automatic summarization of multi party dialogues, based on the ICSI corpus with 75 multi party dialogues. The meetings are in average 60 minutes long and are attended by at least 3 persons. The data was available transcribed but without further annotation. The first part of the thesis presents the preprocessing of the data, which is necessary for some of the tested summarisation methods. The first preprocessing step is Part of Speech (POS) tagging, which annotates the data for word classes. The second step is disfluency detection, which is necessary in order to clean up the data to enhance the readability of the final summaries. It is also a prerequisite for the third step in the preprocessing, the dialogue act annotation, which tags sentences in the data for classes like question or statement. The fourth step, question-answer pair detection is closely related to dialogue act annotation. Questions are connected to their appropriate answers to form the pairs. The final preprocessing step is meeting segmentation, which is necessary to reduce the size of the portions of a meeting to be summarised at once. The second part of this thesis presents the summarization itself. I explore several methods to summarise meetings automatically. These methods are based on term frequency (tfidf) scores, lexical chains and machine learning methods. The tfidf method requires only POS tagging as preprocessing, which makes the whole meeting summarisation process very fast. The lexical chains method is based on the tfidf method. It also requires little preprocessing, but the process of building lexical chains is very time consuming. Additionally, building lexical chains requires external knowledge bases. The machine learning methods require all preprocessing methods and therefore also take longer than the tfidf methods. I use baseline methods (e.g. random) for comparison. The graphical user interface (GUI) is presented in the third part. This GUI allows the user to inspect and correct the automatically created summaries. The corrections can then be fed back to the methods in order to improve the performance of the automatic summarization by further training the models. Additionally, this feedback loop allows the user to adapt the system to new users and/or surroundings. The GUI also allows for applying single steps developed in this work. The reseach presented here shows that methods developed for text can be applied to multi party dialogues successfully after some changes. Furthermore, it showed that good summaries can be generated using only basic preprocessing steps, which are very fast and require little computational load. More elaborate summarization methods achieve better results, but are more time consuming and computationally intensive. Additionally, by testing various methods for summarisation (term frequencies, lexical chains and machine learning techniques) I show the advantages of each method and give guidelines under which circumstances which method is appropriate according to the results achieved here. The exploration of the preprocessing steps gives insight into the applicability of document analysis techniques like Part of Speech tagging that were developed for text on multi party dialogues. As such it aims to provide insight into some of the problems encountered when dealing with this type of data and possible solutions to these problems.

Abstract

In dieser Arbeit werden Experimente zur automatischen Zusammenfassung von Diskussionen zwischen mehreren Personen (meetings) vorgestellt. Diese Arbeit basiert auf dem ICSI Corpus, einer Sammlung von 75 Meetings mit einer Durchschnittslänge von 60 Minuten und mindestens drei Teilnehmern. Die Daten lagen transkribiert allerdings ohne weitere Annotationen vor. In einem ersten Schritt erfolgt Vorverarbeitung der Daten. Diese umfasst: Erstens, die Part of Speech (POS) Annotation, die Informationen bezüglich der Wortarten hinzufügt. Zweitens, die Erkennung von Häsitationen und Unterbrechungen (disfluencies), die nötig ist, um die Lesbarkeit der finalen Zusammenfassungen zu erhöhen. Diese Erkennung ist auch nötig für den dritten Schritt, die Dialogakterkennung. Die Dialogakterkennung fügt Informationen bezüglich der Satzarten in die Daten ein. Damit verbunden ist auch der vierte Vorverarbeitungsschritt, die Erkennung und Verbindung von Frage-Antwort Paaren. Dabei werden Fragen erkannt, dazugehörige Antworten gesucht und beide Teile miteinander verbunden. Der letzte Vorverarbeitungsschritt ist die Segmentierung der Daten, die nötig ist, um die Teile, die auf einmal zusammengefasst werden, zu verkleinern. Der zweite Teil dieser Arbeit ist die Zusammenfassung selbst. Ich werde mit verschiedenen Methoden zur Erstellung automatischer Zusammenfassungen experimentieren. Diese Methoden basieren auf Worthäufigkeiten (tfidf), lexikalischen Ketten und machinellem Lernen. Die tfidf Methode benötigt nur die POS Annotation, weshalb der gesamte Zusammenfassungsprozess sehr schnell ist. Die lexikalischen Ketten basieren auf den tf*idf Werten und benötigen daher ebenfalls nur wenig Vorverarbeitung. Jedoch ist der Prozess, die Ketten zu erstellen sehr zeit- und rechenintensiv. Darüber hinaus benötigen lexikalische Ketten externe Wissensquellen. Die Methoden mit machinellem Lernen benötigen sämtliche Vorverarbeitungsschritte, weshalb diese Methoden ebenfalls sehr zeit- und rechenintensiv sind. Darüberhinaus werden Vergleichsmethoden wie random verwendet. Im dritten Teil der Arbeit stelle ich die graphische Benutzeroberfläche (GUI) vor, mit der sämtliche vorgestellten Methoden als Toolkit verfügbar sind. Diese GUI erlaubt es, die automatisch erstellten Zusammenfassungen zu lesen und gegebenenfalls zu korrigieren und diese Korrekturen mittels einer Rückkopplungsschleife an die Methoden für die automatische Zusammenfassung zurückzuführen. Dies erlaubt es dem Benutzer, das System sukzessive zu verbessern und an neue Umgebungen anzupassen. Desweiteren ist es möglich mit einzelnen Zwischenschritten zu experimentieren. Ich konnte in dieser Arbeit zeigen, dass Methoden, die für die Verarbeitung von Texten entwickelt wurden, auch für Diskussionen angewandt werden können, wenn man diese Methoden modifiziert. Ausserdem konnte ich zeigen, dass es möglich ist, mit Hilfe weniger Vorverarbeitungsschritte und mit wenig Zeit- und Rechenaufwand gute Zusammenfassungen zu erzielen. Geringfügig bessere Ergebnisse können mit komplexeren Methoden erreicht werden. Diese Zusammenfassungsmethoden sind jedoch deutlich rechenintensiver. Indem verschiedene Zusammenfassungsansätze getestet werden (Worthäufigkeiten, lexikalische Ketten und maschinelle Lernmethoden) kann ich die Vorteile jeder Methode aufzeigen und Richtlinien entwickeln, welche Methode unter welchen Vorraussetzungen angemessen ist. Die Vorverarbeitungsschritte zeigen inwiefern Methoden, die für Texte entwickelt wurden, wie beispielsweise Part of Speech Tagging, auf Besprechungen angewandt werde können. Daher zielt diese Arbeit auch darauf ab, Probleme, die bei der Arbeit mit diesem Datentyp auftauchen zu beschreiben und mögliche Lösungen zu erarbeiten.

DOI
Document's Licence
Faculties & Collections
Zugehörige ORCIDs