Juliane Burmester

• Interlocutors typically link their utterances to the discourse environment and enrich communication by linguistic (e.g., information packaging) and extra-linguistic (e.g., eye gaze, gestures) means to optimize information transfer. Psycholinguistic studies underline that ‒for meaning computation‒ listeners profit from linguistic and visual cues that draw their focus of attention to salient information. This dissertation is the first work that examines how linguistic compared to visual salience cues influence sentence comprehension using the very same experimental paradigms and materials, that is, German subject-before-object (SO) and object-before-subject (OS) sentences, across the two cue modalities. Linguistic salience was induced by indicating a referent as the aboutness topic. Visual salience was induced by implicit (i.e., unconscious) or explicit (i.e., shared) manipulations of listeners’ attention to a depicted referent. In Study 1, a selective, facilitative impact of linguistic salience on the context-sensitive OS word orderInterlocutors typically link their utterances to the discourse environment and enrich communication by linguistic (e.g., information packaging) and extra-linguistic (e.g., eye gaze, gestures) means to optimize information transfer. Psycholinguistic studies underline that ‒for meaning computation‒ listeners profit from linguistic and visual cues that draw their focus of attention to salient information. This dissertation is the first work that examines how linguistic compared to visual salience cues influence sentence comprehension using the very same experimental paradigms and materials, that is, German subject-before-object (SO) and object-before-subject (OS) sentences, across the two cue modalities. Linguistic salience was induced by indicating a referent as the aboutness topic. Visual salience was induced by implicit (i.e., unconscious) or explicit (i.e., shared) manipulations of listeners’ attention to a depicted referent. In Study 1, a selective, facilitative impact of linguistic salience on the context-sensitive OS word order was found using offline comprehensibility judgments. More precisely, during online sentence processing, this impact was characterized by a reduced sentence-initial Late positivity which reflects reduced processing costs for updating the current mental representation of discourse. This facilitative impact of linguistic salience was not replicated by means of an implicit visual cue (Study 2) shown to modulate word order preferences during sentence production. However, a gaze shift to a depicted referent as an indicator of shared attention eased sentence-initial processing similar to linguistic salience as revealed by reduced reading times (Study 3). Yet, this cue did not modulate the strong subject-antecedent preference during later pronoun resolution like linguistic salience. Taken together, these findings suggest a significant impact of linguistic and visual salience cues on sentence comprehension, which substantiates that both the information delivered via language and via the visual environment is integrated into the mental representation of the discourse; but, the way how salience is induced is crucial to its impact.…
• In der alltäglichen Kommunikation optimieren Gesprächspartner den Informationstransfer typischerweise durch linguistische und extra-linguistische, visuelle Hinweise (z.B. Blickbewegungen, Zeigegesten), mittels derer sie ihre Äußerungen mit dem Diskursumfeld verknüpfen. Psycholinguistische Studien unterstreichen, dass Zuhörer für das Verstehen von Sätzen sowohl von linguistischen als auch visuellen Hinweisreizen profitieren, die ihre Aufmerksamkeit auf saliente Informationen lenken. Ziel dieser Dissertation ist es, zu charakterisieren, ob und inwiefern visuelle im Vergleich zu linguistischer Salienz das Satzverständnis beeinflusst. Linguistische Salienz wurde durch das Einführen eines Referenten, als sog. Topik, induziert. Visuelle Salienz wurde durch implizite (unbewusste) oder explizite (bewusste) Manipulationen der Aufmerksamkeit von erwachsenen StudienteilnehmerInnen auf einen visuell abgebildeten Referenten hervorgerufen. Im Fokus der drei Studien dieser Dissertation steht die Untersuchung des Einflusses von linguistischer undIn der alltäglichen Kommunikation optimieren Gesprächspartner den Informationstransfer typischerweise durch linguistische und extra-linguistische, visuelle Hinweise (z.B. Blickbewegungen, Zeigegesten), mittels derer sie ihre Äußerungen mit dem Diskursumfeld verknüpfen. Psycholinguistische Studien unterstreichen, dass Zuhörer für das Verstehen von Sätzen sowohl von linguistischen als auch visuellen Hinweisreizen profitieren, die ihre Aufmerksamkeit auf saliente Informationen lenken. Ziel dieser Dissertation ist es, zu charakterisieren, ob und inwiefern visuelle im Vergleich zu linguistischer Salienz das Satzverständnis beeinflusst. Linguistische Salienz wurde durch das Einführen eines Referenten, als sog. Topik, induziert. Visuelle Salienz wurde durch implizite (unbewusste) oder explizite (bewusste) Manipulationen der Aufmerksamkeit von erwachsenen StudienteilnehmerInnen auf einen visuell abgebildeten Referenten hervorgerufen. Im Fokus der drei Studien dieser Dissertation steht die Untersuchung des Einflusses von linguistischer und visueller Salienz auf die satzinitiale Verarbeitung von kanonischen Subjekt-Verb-Objekt (SO)- und nicht-kanonischen Objekt-Verb-Subjekt (OS)-Sätzen im Deutschen, wobei in beiden Modalitäten dieselben experimentellen Paradigmen verwendet werden. Studie 1 liefert Evidenz für einen selektiven, erleichternden Einfluss von zuvor induzierter linguistischer Salienz auf das Verstehen von OS-Sätzen. Dieser Einfluss linguistischer Salienz zeigte sich sowohl nach der Präsentation der Zielsätze, nämlich anhand behavioraler Daten zur Beurteilung des Verständnisses, als auch während des Lesens von OS-Sätzen, nämlich in Form einer satzinitialen, reduzierten späten Positivierung (sog. Late Positivity) in den ereigniskorrelierten Potentialen der elektrophysiologischen Messung. Dieser erleichternde Einfluss der linguistischen Salienz wurde nicht durch die implizite, visuelle Manipulation der Aufmerksamkeit der StudienteilnehmerInnen auf einen visuell abgebildeten Referenten repliziert (Studie 2). In Studie 3 weist die explizite, intentionale Manipulation der Aufmerksamkeit der StudienteilnehmerInnen mittels der Blickbewegung einer (virtuellen) Person auf einen visuell abgebildeten Referenten jedoch auf eine satzinitiale Verarbeitungserleichterung in Form verkürzter Lesezeiten von SO- und OS-Sätzen hin. Dieser Effekt visueller Salienz ähnelte zwar dem Einfluss linguistischer Salienz während des satzinitialen Lesens, unterschied sich jedoch von dieser während der anschließenden Pronomeninterpretation. Zusammengefasst liefern die Ergebnisse dieser Dissertation Evidenz für einen signifikanten Einfluss linguistischer und visueller Salienz auf das Satzverständnis, wobei die kontextuelle Einbettung von Salienzmerkmalen eine entscheidende Rolle für die Integration von Information in die mentale Diskursrepräsentation spielt.…