In the last decade, neuroscientific research has refocussed on the old observation, that identical stimuli can elicit different cortical responses and thus different percepts. What has for a long time been regarded as background noise in absence of external stimulation has since gained a lot of attention. There is now growing consensus, that power and phase of oscillatory activity significantly influence the fate of an upcoming percept. However, the question of whether multi-sensory information integration requires specific pre-stimulus brain states has rarely been assessed. Three studies were therefore designed to investigate the role of pre-stimulus activity in the perception of audiovisual stimuli.

In the first study, I used the McGurk effect to elucidate the impact of ongoing brain oscillations - indexed by fluctuating local excitability and inter-areal synchronisation - on upcoming varying perception of identical stimuli. The McGurk effect demonstrates the influence of visual cues on auditory perception. Mismatching information from both modalities can fuse to a novel percept that neither matches the auditory nor visual stimulus while an illusion is reported in 60-80% of trials. Using magnetoencephalography (MEG), I found that the perception of the McGurk effect is preceded by high beta activity in parietal, frontal, and temporal areas and pronounced in the left superior temporal gyrus, considered to be a site of multimodal information integration. This area is functionally (de-)coupled to distributed frontal and temporal regions in illusion trials. The disposition to fuse multi-sensory information is enhanced as the left STG is more strongly coupled to frontoparietal regions. Illusory perception is accompanied by a decrease in post-stimulus theta band activity in the cuneus, precuneus and left superior frontal gyrus. Event-related activity in the left middle temporal gyrus is pronounced during illusory perception. Thus, the McGurk effect depends on fluctuating brain states suggesting that functional connectedness of left STG at a pre-stimulus stage is crucial for an audiovisual percept.

In the second study, I investigated the Sound-Induced Flash Illusion (SIFI), which is an example for the influence of auditory information on visual perception. It consists of the perception of two visual stimuli upon presentation of only a single visual stimulus accompanied by two auditory stimuli. Again, I used MEG to assess the influence of ongoing pre-stimulus oscillatory activity and brain connectivity states on varying perception of invariant stimuli. I compared cortical activity from trials in which subjects perceived two visual stimuli (i.e., an illusion) with trials in which subjects perceived only one visual stimulus (i.e., no illusion), thus keeping the stimulation fixed. Subjects perceived the illusion in ~50% of trials. In trials containing an illusion, I found stronger pre-stimulus beta band activity in a left temporal sensor cluster and localised this to the left middle temporal gyrus (BA39). In addition to differences in local beta activity, illusory perceptions were preceded by increased beta band phase-synchrony with auditory areas as well as decreased phase synchrony with visual areas. Alpha band phase-synchrony between visual and temporal, parietal and frontal cortical as well as alpha band phase-synchrony between auditory and visual areas were found to be modulated. However, studies involving active external perturbations of the current brain state are needed in order to evaluate the role of oscillatory activity in multimodal cortical areas.

I addressed this in the third study by replicating our work on the sound induced flash illusion (SIFI) and extending it with single pulse transcranial magnetic stimulation (TMS). The target for stimulation was in the bilateral BA39. I used electroencephalography (EEG) to assess the influence of ongoing oscillatory activity on varying perception of invariant stimuli in humans as well as the relationship between TMS and ongoing oscillatory cortical activity. I compared activity from trials in which subjects subsequently perceived an illusion with trials in which subjects perceived no illusion, thus keeping the stimulation fixed. I found a strong increase in gamma band power in right temporal cortex signalling an upcoming illusion. Regarding TMS, I split trials into strong and weak pre-TMS beta and gamma band power in order to evaluate the influence of the current brain state on the TMS effect. TMS reduces strong oscillatory power in the beta as well as gamma band at the site of stimulation, but also in inferior frontal and anterior temporal areas but increases weak power. TMS to the right BA39 differentially influences upcoming perception depending on the strength of pre-TMS beta band power.

Based on these three studies, I suggest that ongoing pre-stimulus fluctuations of oscillatory activity in multimodal brain regions as well as its varying integration into a distributed network form predispositions whether different sensory streams will be integrated or not. These findings are consistent with and extend recent findings on the role in beta and gamma band activity in top-down and bottom-up network processes of multi-sensory perception. Identifying the spectral fingerprints of underlying cognitive processes can serve as a basis to exploration of the neural correlates of consciousness.

Im letzten Jahrzehnt hat sich die neurowissenschaftliche Forschung auf eine alte Beobachtung zurück besonnen: Identische Reize können unterschiedliche kortikale Antworten und damit auch unterschiedliche Perzepte auslösen. Was lange Zeit als Hintergrundrauschen in Abwesenheit externer Reize angesehen wurde, hat seitdem viel Aufmerksamkeit bekommen. So ist man sich immer öfter einig, dass Energie und Phase einer oszillatorischen Aktivität signifikanten Einfluss auf das Schicksal eines zukünftigen Perzeptes nehmen. Die Frage, ob die Verschaltung multisensorischer Information spezifische kortikale Prästimulus-Zustände voraussetzt wurde allerdings kaum untersucht. Daher wurden drei Studien konzipiert, die die Rolle von Prästimulus-Aktivität bei der Wahrnehmung audiovisueller Reize untersuchen sollten.

In der ersten Studie nutze ich den McGurk Effekt, um den Einfluss fortlaufender kortikaler Oszillationen - beschrieben durch Fluktuationen lokaler Erregbarkeit und Synchronisation zwischen Hirnarealen - auf die bevorstehende veränderliche Wahrnehmung identischer Reize zu erforschen. Der McGurk Effekt demonstiert den Einfluss visueller Hinweisreize auf auditorische Wahrnehmung. Nicht übereinstimmende Information beider Modalitäten kann zu einem neuen Perzept zusammenfließen, das weder dem auditorischen, noch dem visuellen Reiz entspricht - in etwa 60-80% der Durchgänge geben die Probanden an, eine Illusion wahrgenommen zu haben. Mit Hilfe der Magnetenzepahlographie (MEG) fand ich heraus, dass der Wahrnehmung des McGurk Effektes eine hohe Beta-Band Aktivität in parietalen, frontalen sowie temporalen Hirnarealen, insbesondere dem linken superioren Temporallappen (STG) vorangeht, von dem man annimmt, dass er einen Ort multimodaler Informationsintegration darstellt,. Dieses Gebiet ist in Durchgängen mit einer Illusion funktionell zu verteilten frontalen und temporalen Gebieten ent- und gekoppelt. Die Disposition, multisensorische Information zusammenzufügen, ist verstärkt, wenn der linke STG stärker mit frontoparietalen Gebieten gekoppelt ist. Die illusorische Wahrnehmung wird dabei von einer Abnahme von Theta-Band-Aktivität im Cuneus, dem Precuneus und dem linken superioren Frontallappen begleitet. Während der Wahrnehmung der Illusion tritt eine ausgeprägte ereigniskorrelierte Aktivität im linken mittleren Temporallappen auf. Somit hängt der McGurk Effekt von fluktuierenden Hirnzuständen ab, was nahe legt, dass die funktionelle Konnektivität des linken STG noch vor der Reizdarbietung für das audiovisuelle Perzept ausschlaggebend ist.

In der zweiten Studie untersuchte ich die Sound Induced Flash Illusion (SIFI), ein Beispiel für den Einfluss auditorischer Information auf visuelle Wahrnehmung. Sie besteht in einem Perzept zweier visueller Stimuli bei Darbietung nur eines einzelnen visuellen Stimulus begleitet von zwei auditorischenReizen. Erneut nutze ich die MEG-Technik, um zu erarbeiten, inwiefern fortlaufende oszillatorische Aktivität vor der Reizdarbietung und der Zustand der Konnektivität des Gehirns eine unterschiedliche Wahrnehmung identischer Reize beeinflusst. Ich verglich die kortikale Aktivität bei Durchgängen, in denen die Teilnehmer zwei visuelle Stimuli wahrnahmen (also eine Illusion), mit Durchgängen, in denen die Teilnehmer nur einen visuellen Stimulus (also keine Illusion) wahrnehmen, und hielt somit die Reizdarbietung konstant. Die Teilnehmer nahmen die Illusion in etwa 50% der Durchgänge wahr. In Durchgängen mit einer Illusion fand ich stärkere Beta-Band Aktivität in einer links temporalen Sensorgruppe und verortete diese im linken mittleren Temporallappen (BA39). Außer den Unterschieden in der lokalen Beta-Band Aktivität gingen den illusorischen Wahrnehmungen außerdem eine erhöhtePhasensynchronizität im Beta-Band mit auditorischen Arealen sowie eine reduzierte Phasensynchronizität mit visuellen Bereichen voraus. Ich stellte fest, dass Phasensynchronizität im Alpha-Band zwischen visuellen und temporalen, parietalen und frontalen Arealen sowie Alpha-Band Phasensynchronizität zwischen auditorischen und visuellen Gebieten moduliert wird. Allerdings sind Studien zur externen Störung des aktuellen Hirnzustands vonnöten, um die Rolle der oszillatorischen Aktivität in multisensorischen kortikalen Gebieten besser zu beurteilen.
Dies habe ich in der dritten Studie behandelt.Ich replizierte meine Arbeit der zweiten Studie zur Sound Induced Flash Illusion und erweiterte diese durch transkranielle Magnetstimulation (TMS) mit einem einzelnen Puls. Ziel der Stimulation war das bilaterale Areal BA39. In dieser Studie bediente ich mich der Elektroenzephalographie (EEG), um den Einfluss fortlaufender oszillatorischer kortikaler Aktivität beim Menschen sowie das Verhältnis zwischen TMS und jener zu erfassen. Ich verglich die Aktivität aus Durchgängen, in denen Teilnehmer nach der Impulsgabe eine Illusion wahrnahmen mit Durchgängen, in denen Teilnehmer nach der Impulsgabe keine Illusion wahrnahmen und hielt somit die Reizdarbietung konstant. Dabei ermittelte ich, dass ein Anstieg der Gamma-Band-Energie im rechten temporalen Kortex signalisiert, dass eine Illusion zustandekommen wird.. Um zu testen, wie das TMS wirkt, teilte ich Durchgänge nach starker und schwacher Beta- und Gamma-Band Energie vor dem TMS-Puls auf. Dies diente dazu, den Einfluss des aktuellen Hirnzustands auf die Auswirkungen des TMS zu untersuchen. Das TMS reduziert starke oszillatorische Energie im Beta- und auch auch Gamma-Band, aber verstärkt schwache Energie sowohl am Stimulationsort, als auch im inferioren Frontallappen sowie in anterioren temporalen Gebieten. In Abhängigkeit der stärke der Beta-Band Energie vor dem TMS hat eine TMS-Impulsgabe einen differenzierenden Einfluss auf aufkommende Wahrnehmung.

In Anbetracht dieser drei Studien schließe ich, dass fortlaufende Fluktuationen oszillatorischer Aktivität vor der Reizdarbietung in multimodalen Hirnarealen sowie die veränderliche Einbindung dieser in ein verteiltes Netzwerk eine Disposition dafür bilden, ob verschiedene sensorische Informationsflüsse integriert werden oder nicht. Diese Befunde sind konsistent mit und erweitern neueste Erkenntnisse über die Rolle von Beta- und Gamma-Band Aktivität in Top-Down und Bottom-Up Netwerkprozessen multisensorischer Perzeption. Die spektralen Fingerabdrücke der ihnen zu Grunde liegenden kognitiven Prozesse zu identifizieren kann also als Basis dienen, die neuronalen Korrelate des Bewusstseins zu erkunden.