Computer simulation experiments in phonetics and phonology : simulation technology in linguistic research on human speech

Abstract

One goal of this thesis is to give a representative overview of computer simulation experiments in phonetics and phonology. A number of research disciplines are identified as being relevant for the subject of this thesis which are concerned with human speech perception and production. Among these are in particular computational psychology and cognitive sciences. Important methods and research approaches using simulation technology for the study of human speech can also be found in natural language processing and speech signal processing as well as in areas of computer science such as artificial intelligence and machine learning. Due to this interdisciplinary breadth of the topic, this thesis comprises a comprehensive overview of representative publications.

Chapter 2 provides a short historical and a detailed thematic overview of the literature and presents the various research questions which have been studied with computer simulation experiments. First, works are addressed which focus on sound systems, their emergence and evolution. Various models of speech perception and production are presented. Computer simulation experiments allow the investigation of phenomena which are empirically hard to capture or even totally inaccessible. Additionally, works on language change and historical linguistics are discussed. The development of a language system over many generations is only hard to capture empirically. The origin of human language seems completely inaccessible to empirical inquiry. The overview of existing work shows how different research questions can be addressed by the same methods and how the same research questions can be addressed by a variety of different methods. An overview of often applied methods and basic concepts is therefore given separately in chapter 3. These are especially methods and foundations of machine learning, artificial neural networks and principles of self-organisation.

The second part of this thesis presents a series of my own computer simulation experiments and discusses relevant work. Chapter 4 presents experiments on speech segmentation and addresses the question how humans can achieve this faculty based on the available information. A central problem in this context is that of boundariness. This term is used to denote the continuous nature of segmental information at any position in the speech stream. An important problem of speech segmentation models which is emphasised is the evaluation of computer simulations. Different objective quality measures are compared and their properties are investigated. Apart from conventional quality measures, I propose two new measures and additionally investigate two quality measures which so far have been applied to text segmentation.

Chapter 5 addresses the question of how speech units can be grouped into categories once they are extracted from the segmented speech stream. Methodologically, the presented experiments are based on cluster analysis. The focus of the experiments in chapter 5 is the investigation of acoustic speech recordings in comparison to corresponding articulographic recordings. In the first experiment, the linguistic information contained in different segment classes is investigated. Vowels and consonants show different results for acoustic and articulatory data. Vowels in different syllabic contexts are investigated in the second experiment. The experiment shows that contextual information can be found across syllable boundaries.

Chapter 6 addresses the question of how the Context Sequence Model can be expanded by adding an articulatory modality. Relevant work on exemplar theory and speech perception and production models are discussed. The experiments take on a new approach in which a production model treats articulatory recordings in the same way as acoustic recordings.

This dissertation offers a comprehensive overview of a promising approach to the study of spoken language. The present thesis is as such the first of this kind in phonetics and phonology. Computer simulation experiments can not only complement laborious empirical studies and replace them to some extent. Simulation technology also offers the potential to directly study theoretical models and the interactions of their components. This allows for testing of existing hypotheses and the generation of new ones.

Ein Ziel dieser Arbeit ist es einen repräsentativen Überblick über die Verwendung von Computersimulationsexperimenten in der Phonetik und Phonologie zu bieten. Zahlreiche Forschungsdisziplinen erden als für diese Arbeit relevant betrachtet, welche sich mit der menschlichen Sprachperzeption und -produktion befassen. Dazu gehören insbesondere die mathematische Psychologie und die Kognitionswissenschaften. Wichtige Methoden und Forschungsansätze für die Simulationstechnologie in der Erforschung der menschlichen Sprache sind auch in der Maschinellen Sprachverarbeitung, der Sprachtechnologie und Sprachsignalverarbeitung zu finden sowie in Teilbereichen der Informatik wie der künstlichen Intelligenz und dem maschinellen Lernen. Aufgrund dieser interdisziplinären Breite des Themas beinhaltet diese Arbeit einen umfangreichen Literaturüberblick repräsentativer Publikationen.

Welche Forschungsfragen mit Hilfe von Simulationsexperimenten untersucht wurden wird nebst eines kurzen historischen Überblicks in einem umfangreichen, thematischen Literaturüberblick in Kapitel 2 dargestellt. Zunächst werden Arbeiten betrachtet, die sich mit Lautsystemen und ihrer Entstehung und Evolution befassen. Verschiedene Modelle zur Sprachperzeption und -produktion werden vorgestellt. Computersimulationsexperimente erlauben Untersuchungen von empirisch schwer zu fassenden oder völlig unzugänglichen Phänomenen. Außerdem werden Arbeiten zum Sprachwandel und zur historischen Linguistik diskutiert. Die Entwicklung eines sprachlichen Systems über mehrere Generationen hinweg lässt sich empirisch nur schwer erfassen. Der Ursprung der menschlichen Sprache erscheint experimentell vollkommen unzugänglich. Der Überblick zu bestehenden Arbeiten zeigt wie unterschiedliche Forschungsfragen mit denselben Methoden behandelt werden können. Andererseits werden dieselben Forschungsfragen oft mit ganz unterschiedlichen Methoden untersucht. Ein Überblick zu häufig eingesetzten Methoden und grundlegenden Konzepten wird daher gesondert in Kapitel 3 gegeben. Hierzu gehören vor allem Methoden und Grundlagen des maschinellen Lernens, künstliche neuronale Netze und Prinzipien der Selbstorganisation.

Der zweite Teil dieser Dissertation stellt eine Reihe meiner eigenen Computersimulationsexperimente vor und diskutiert relevante Arbeiten. Kapitel 4 präsentiert Experimente zum Thema der Sprachsegmentierung und der Frage, wie der Mensch diese Fähigkeit anhand der zur Verfügung stehenden Informationen erlernen oder erwerben kann. Ein zentrales Problem in diesem Zusammenhang ist das der Grenzhaftigkeit (boundariness). Im Rahmen dieser Arbeit wir dieser Begriff für die kontinuierliche Natur segmentaler Information an jeder Stelle im Redefluß verwendet. Als wichtiges Problem im Bereich der Sprachsegmentierungsmodelle wird auch die Evaluation von entsprechenden Computersimulationen hervorgehoben. Verschiedene objektive Qualitätsmaße werden verglichen und auf ihre Eigenschaften hin untersucht. Neben gängigen Qualitätsmaßen stelle ich auch zwei neue Maße vor und untersuche zusätzlich zwei bisher nur in der Textsegmentierung eingesetzte Maße.

Kapitel 5 befasst sich mit der Frage, wie sprachliche Einheiten zu Kategorien und Gruppen von ähnlichen Einheiten zusammengefasst werden können, wenn sie erst einmal aus dem segmentierten Redefluß extrahiert wurden. Methodisch basieren die vorgestellten Experimente auf der Clusteranalyse. Schwerpunkt der Experimente in Kapitel 5 ist die Untersuchung akustischer Sprachaufnahmen im Vergleich zu entsprechenden artikulographischen Aufnahmen. Im ersten Experiment wird die im Signal enthaltene linguistische Information unterschiedlicher Segmentklassen untersucht. Vokale und Konsonanten zeigen dabei unterschiedliche Resultate für akustische und artikulatorische Daten. Im zweiten Experiment werden Vokale in unterschiedlichen Silbenkontexten untersucht. Dabei zeigt sich, dass sich kontextuelle Informationen über Silbengrenzen hinweg nachweisen lassen.

Kapitel 6 befasst sich mit der Frage, wie das Context Sequence Model um eine artikulatorische Modalität erweitert werden kann. Relevante Arbeiten zur Exemplartheorie und zu Sprachperzeptions- und Produktionsmodellen werden diskutiert. Die Experimente verfolgen einen neuen Ansatz indem artikulographische Aufnahmen in einem Produktionsmodell in derselben Art verarbeitet werden wie akustische Sprachaufnahmen.

Diese Dissertation bietet einen umfangreichen Überblick über eine vielversprechende Herangehensweise in der Erforschung der gesprochenen Sprache. Die vorliegende Arbeit ist damit die erste dieser Art in der Phonetik und Phonologie. Mit Computersimulationsexperimenten lassen sich nicht nur aufwendige empirische Studien komplementieren und teilweise auch ersetzen. Die Simulationstechnologie bietet auch die Möglichkeit theoretische Modelle direkt zu untersuchen und die Interaktionen ihrer Bestandteile zu studieren. Somit lassen sich bestehende Hypothesen testen und neue generieren.