Neurofunctional correlates of audiovisual binding in fMRI, EEG and EEG-guided fMRI

Abstract

This thesis aimed to find hemodynamic and electrophysiological correlates of the perceptual binding of crossmodal audiovisual stimuli in the human brain. How the multisensory convergence areas and the temporal correlation (synchronization) of areas are involved in binding is currently a major discussion in multisensory research. Therefore, the question of central interest in the present work was the relationship between the correlates in the functional magnet resonance imaging (fMRI) and the simultaneously acquired electroencephalogram (EEG). Additionally to the separated analyses of both signals in a further analysis fMRI was examined guided by the EEG, i.e. the fMRI signal was parametrically modulated by the quantified EEG signal. The perceptual binding of crossmodal audiovisual stimuli was addressed in a paradigm using the ventriloquism-effect. Participants were asked to report the temporal congruency and location of auditory stimuli when observing both visual and auditory stimuli of low complexity that were switched on/off either synchronously or asynchronously. In synchronously presented spatially disparate audiovisual stimuli the ventriloquism-effect is indicated by a localization shift of the subjective origin of the auditory stimulus toward the visual stimulus. Crossmodal binding was introduced with temporally congruent audiovisual stimuli eliciting the ventriloquism-effect, whereas temporally incongruent audiovisual stimuli without a localization shift were the bimodal control. In a network of multisensory convergence areas hemodynamic activity correlating with crossmodal binding was found in the insula, the parieto-occipital sulcus (POS), and the superior temporal sulcus (STS). At parietal electrodes an electrophysiological correlate of crossmodal binding was identified in neural synchronization changes of theta and alpha band activity. The time-frequency representations showed different patterns of synchronization for the congruent and the incongruent stimulation. The perceptual binding of crossmodal audiovisual stimuli was reflected in hemodynamic and in electrophysiological brain activity. On a single trial basis, the quantified EEG correlate was used to predict the hemodynamic signal in the EEG-guided fMRI analysis. This modulation of the hemodynamic signal gave information about the association of cortical areas and EEG dynamic within the framework of crossmodal binding. The association is of special interest in the context of the two hypotheses of binding, binding by hierarchically organized convergence areas and binding by temporal correlation. As the main result of the EEG-guided fMRI analysis a very distinct area associated with increased synchronization was related to the perceptual binding of crossmodal audiovisual stimuli. When this activation in the STS is related to projections from or to unisensory areas as discussed in the literature, the two hypotheses of crossmodal binding could be combined for audiovisual binding. The association revealed in the STS provides evidence for the STS to serve as the modulating convergence area of audiovisual binding. Ziel dieses Dissertationsprojektes war es, hämodynamische und elektrophysiologische Korrelate der perzeptuellen Bindung modalitätsübergreifender auditorisch-visueller Stimuli im menschlichen Gehirn zu identifizieren. Wie multisensorische Konvergenzareale und die zeitliche Korrelation von Arealen an der Bindung beteiligt sind, ist eine aktuelle Frage der Forschung zur Multisensorik. Im Fokus des Interesses dieser Arbeit stand daher der Zusammenhang zwischen diesen Korrelaten in der funktionellen Magnetresonanztomographie (fMRT) und dem gleichzeitig erhobenen Elektroenzephalogramm (EEG). Neben den separaten Analysen beider Signale wurde in einer kombinierten Analyse das fMRT-Signal vom gleichzeitig erhobenen EEG geleitet, d.h. das fMRT-Signal wurde durch das quantifizierte EEG-Signal parametrisch moduliert. Die perzeptuelle Ebene der modalitätsübergreifenden Bindung auditorisch-visueller Stimuli wurde mit Hilfe des Bauchredner-Effekts erfasst. Aufgabe der Probanden war es, die zeitliche Kongruenz sowie die Raumposition auditorischer Stimuli anzugeben, während sie visuelle und auditorische Stimuli geringer Komplexität beobachteten. Die Stimuli erschienen und verschwanden entweder zu einander synchron oder asynchron. Beim Bauchredner-Effekt ruft die synchrone Darbietung räumlich abweichender auditorisch-visueller Stimuli eine Verschiebung der Lokalisierung des subjektiven Ursprungs des auditorischen Stimulus in Richtung des visuellen Stimulus hervor. Modalitätsübergreifenden Bindung wurde ins Experiment eingeführt durch zeitlich kongruente auditorisch-visuelle Stimuli, die den Bauchredner-Effekt hervor riefen. Zeitlich inkongruente auditorische und visuelle Stimuli, die keine Verschiebung der Lokalisierung hervorriefen, dienten als bimodale Kontrolle. In einem Netzwerk multisensorischer Konvergenzareale wurde mit modalitätsübergreifender Bindung korrelierende hämodynamische Aktivierung gefunden in der Insula, dem Sulcus parieto-okzipitalis (POS) und dem Sulcus temporalis superior (STS). An parietalen Elektroden wurde eine elektrophysiologisches Korrelat modalitätsübergreifender Bindung ermittelt, in Form von Änderungen in der neuronalen Synchronisation im Theta- und Alpha-Band. Die Zeit-Frequenz-Darstellungen zeigten unterschiedliche Synchronisations-muster für die kongruente und die inkongruente Stimulation. Die perzeptuelle Bindung modalitätsübergreifender auditorisch-visueller Stimuli spiegelte sich also in der hämodynamischen und der elektrophysiologischen Hirnaktivität wider. Auf Ebene der einzelnen Durchgänge wurde das quantifizierte EEG-Korrelat genutzt, um das hämodynamische Signal in zur Vorhersage des Verlaufs des hämodynamischen Signals eingesetzt. Durch die Modulierung des hämodynamischen Signals konnte der Zusammenhang zwischen den betrachteten kortikalen Arealen und der EEG-Dynamik im Netzwerk der modalitätsübergreifenden Bindung aufgeklärt werden. Dieser Zusammenhang ist von besonderem Interesse im Kontext der beiden Hypothesen zur modalitätsübergreifenden Bindung; einmal entsteht die Bindung in hierarchisch aufgebauten Konvergenzarealen, als zweite Hypothese entsteht die Bindung über die zeitliche Korrelation zwischen Arealen. Als wichtigstes Ergebnis der EEG-geleiteten fMRT-Analyse zeigte sich ein klar abgegrenztes Gebiet als verbunden mit der erhöhten Synchronisation während der perzeptuellen Bindung modalitätsübergreifender auditorisch-visueller Stimuli. Bezieht man diese Aktivierung im STS auf die in der Literatur postulierten Projektionen von und zu unisenorischen Arealen, dann können die beiden Hypothesen der modalitätsübergreifenden Bindung zusammengeführt werden für die auditorisch-visuelle Bindung. Der im STS gefundene Zusammenhang weist darauf hin, dass der STS als modulierendes Konvergenzareal der auditorisch-visuellen Bindung fungiert.