Herausforderungen in der multisensorischen Wahrnehmung

Im alltäglichen Leben werden unsere Sinne fortwährend mit den unterschiedlichsten Signalen bombardiert: Das Motorengeräusch eines Lastwagen, ein funkelndes Motorrad, das mit hoher Geschwindigkeit an uns vorbeibraust, der Geruch von Rauch und Abgasen und der Anblick von anderen Fußgängern. Wie überträgt das menschliche Gehirn diese Kakophonie der Sinne in eine wahrheitsgetreue Repräsentation der Welt? Den plötzlich auftauchenden Lastwagen als sprechend und glänzend und Ihren Begleiter als tosend und stinkend wahrzunehmen, könnte katastrophale Folgen haben! Dies verdeutlicht, dass multisensorische Integration und Segregation essenziell für unsere täglichen Interaktionen sind.

Die Integration von Informationen erhöht die Salienz sensorischer Signale und ermöglicht uns dadurch, auf wichtige Ereignisse schneller und gezielter zu reagieren. Beispielsweise können wir schneller auf den Bürgersteig zurückspringen, um nicht von einem herannahenden Lastwagen erfasst zu werden (Diederich und Colonius, 2004; Frassinetti et al., 2002; Gillmeister und Eimer, 2007; Noesselt et al., 2008). Ferner ermöglicht die Kombination von komplementärer (zum Beispiel das Erkennung eines Objektes, indem man es von vorne betrachtet und an der Hinterseite berührt) oder redundanter Information (zum Beispiel die Lokalisierung eines Objektes mittels Seh- und Hörvermögens) über die Sinne hinweg eine robustere und präzisere Wahrnehmung (Ernst und Bülthoff, 2004).

Eine einflussreiche Theorie in den Neurowissenschaften besagt, dass das Gehirn ein probabilistisches generatives Modell der sensorischen Inputs bildet, welches in der Wahrnehmung als Inferenz invertiert (d. h. umgekehrt vollzogen) wird (Kersten et al., 2004; Kersten und Yuille, 2003; Knill und Pouget, 2004). Die Bayesianische Theorie formuliert, wie der Beobachter unsichere Informationen miteinander kombinieren muss, um eine möglichst präzise Repräsentation von der Welt zu erhalten.

In der multisensorischen Wahrnehmung muss das Gehirn zwei grundlegende Herausforderungen lösen. Zum einen stellt sich das Problem der sogenannten ´kausalen Inferenz´ oder das ‘Bindungsproblem‘. Das Gehirn muss entscheiden, ob Signale von einer gemeinsamen Ursache stammen und in der Wahrnehmung integriert werden sollen (Shams und Beierholm, 2010). Zum anderen, sollte das Gehirn Signale, die von einer Quelle stammen, entsprechend ihren Verlässlichkeiten oder Präzisionen kombinieren, um so die genaueste (d. h. die am geringsten variable) Repräsentation der Umgebung zu bilden (Alais und Burr, 2004; Ernst und Banks, 2002). Das Bayesianische kausale Inferenz-Modell löst diese beiden Herausforderungen, indem es explizit die potenziellen kausalen Strukturen (z. B. ob die Signale von einer oder von mehreren Quellen stammen) unserer Welt modelliert (Körding et al., 2007; siehe auch Deroy et al., 2016; Rohe und Noppeney, 2015a, 2015b; Shams und Beierholm, 2010; Wozny et al., 2010).

Nehmen wir ein einfaches Beispiel: Stellen Sie sich vor, Sie sind ein begeisterter Ornithologe, der in der Morgendämmerung im Wald umherstreift, um die besten Fotos und Gesangsaufzeichnungen von Vögeln zu machen. Plötzlich entdecken Sie auf einem Ast ein kleines Rotkehlchen und hören gleichzeitig im Gebüsch ein Rotkehlchen zwitschern. Wie richten Sie nun Ihre Kamera und Ihr Mikrofon aus? Sollen Sie die Information Ihres Seh- und Hörvermögens miteinander kombinieren, um eine genauere Abschätzung des Aufenthaltsortes des Vogels zu erhalten? Oder sollen Sie allein die Information Ihres Sehvermögens nutzen, um die Kamera zu platzieren und dementsprechend allein die Ihres Hörvermögens, um Ihr Mikrofon anzubringen? Die Antwort auf diese Frage ist abhängig von der zugrunde liegenden kausalen Struktur der Welt. Es existieren zwei Hypothesen oder potenzielle kausale Strukturen:

Im ersten Szenario handelt es sich bei dem Vogel, den Sie auf dem Ast sitzen sehen, um denselben Vogel, den Sie im Busch zwitschern hören. In diesem Falle einer ´gemeinsamen Signalquelle´ sollten Sie die Signale des Seh- und Hörvermögens miteinander kombinieren. Dieses Szenario folgt demnach dem klassischen Modell der ´obligatorischen Integration´, welches das multisensorische Forschungsfeld über die letzten zwei Jahrzehnte hinweg dominiert hat (Alais und Burr, 2004; Ernst und Banks, 2002; Hillis et al., 2004). Wie durch das Modell der Maximum Likelihood Estimation (MLE) beschrieben wird, erhält ein Beobachter in diesem Falle den präzisesten Schätzwert für den Ort des Rotkehlchens, indem er die Signale gewichtet nach ihrer relativen Verlässlichkeit (i. e. Inverse von Varianz des Signals) integriert. Beispielsweise würden Sie einem schwachen, unverlässlichen visuellen Signal in der Dämmerung eine geringere Bedeutung beimessen als einem deutlichen visuellen Signal bei Tageslicht. Gemäß der Prinzipien der MLE-Integration sollte multisensorische Integration zu einer verlässlicheren oder präziseren Wahrnehmung führen. Diese multisensorische Varianzreduktion relativ zu der am geringsten variablen unisensorischen Wahrnehmung ist mit dem Faktor 2 am größten, wenn die Varianzen der beiden unisensorischen Signale gleich sind. Tatsächlich zeigten psychophysische Studien, dass der menschliche Beobachter Signale, welche von einer gemeinsamen Quelle ausgehen, ungefähr wie vom MLE Modell vorhergesagt integriert (Alais und Burr, 2004; Bresciani et al., 2006; Ernst und Banks, 2002; Hillis et al., 2004; Jacobs, 1999; Knill und Saunders, 2003). Dennoch ist die Evidenz nicht eindeutig. Zunehmend weisen Studien auch auf Situationen hin, in denen der menschliche Beobachter eine geringere multisensorische Varianzreduktion erreicht, als vom MLE-Modell vorhergesagt wird (Battaglia et al., 2011; Bentvelzen et al., 2009). Gleichfalls gewichten Beobachter eine Sinnesmodalität stärker als erwartet nach dem MLE-Modell (Battaglia et al., 2003; Burr et al., 2009; Butler et al., 2010; Rosas et al., 2005). Im letzteren Fall ist die Gewichtung der Sinnessignale nicht adäquat für spezielle experimentelle Situationen, sondern entspricht einer Gewichting, die für die meisten Alltagssituationen dienlich ist (Battaglia et al., 2003).

Im zweiten Szenario gibt es zwei Vögel, einen, den Sie auf dem Ast sehen und einen, den Sie im Gebüsch zwitschern hören. In diesem Falle von ´mehreren unabhängigen Ursachen´ oder ´vollständiger Segregation´ wäre es nachteilig, die visuellen und auditorischen Signale zu integrieren. Stattdessen sollten Sie allein die auditorische Information nutzen, um Ihr Mikrofon auszurichten und die visuelle, um Ihre Kamera korrekt zu platzieren.

Das Gehirn muss nun aktiv von verschiedenen multisensorischen Korrespondenzen ableiten, wie wahrscheinlich die beiden Szenarien (d. h. eine oder zwei Signalquellen) als kausale Strukturen der Sinnesreize sind. Wichtige multisensorische Korrespondenzen sind beispielsweise die zeitliche Koinzidenz oder Korrelation der Sinnessignale (Lee & Noppeney, 2011a; Lewis und Noppeney, 2010; Magnotti et al., 2013; Maier et al., 2011; Munhall et al., 1996; Noesselt et al., 2007; Parise und Ernst, 2016; Parise et al., 2012; van Wassenhove et al., 2007), oder ihre räumliche Kollokation (Lewald und Guski, 2003; Slutsky und Recanzone, 2011; Spence, 2013). Aber auch andere höher geordnete statistische oder erlernte Korrespondenzen von Reizen wie ihre semantische (Adam und Noppeney, 2010; Bishop und Miller, 2011; Kanaya und Yokosawa, 2011; Lee und Noppeney, 2011b; Noppeney et al., 2010) oder metaphorische (Sadaghiani et al., 2009; Parise und Spence, 2009) Kongruenz sind hilfreich, um zu entscheiden, ob auditorische und visuelle Signale von derselben Quelle oder Ereignis stammen. Dennoch bleibt eine gewisse Ungewissheit über die kausale Struktur der Welt bestehen. Um dieser kausalen Ungewissheit gerecht zu werden, berechnet das Gehirn einen letztendlichen Schätzwert, indem es die Schätzwerte, die für die verschiedenen kausalen Strukturen (oder Szenarien) berechnet wurden, kombiniert (siehe im Detail: Wozny et al., 2010). Gemäß der Berechnungsstrategie namens ´Model Averaging´ sollte das Gehirn beispielsweise die Ausrichtung des Mikrofons berechnen, indem es die räumlichen Schätzwerte, die für die Szenarien einer gemeinsamen (i. e. Modell der ´obligatorischen Integration´) und zweier unabhängiger Ursachen (i. e. Modell der ‘vollständigen Segregation‘) ermittelt wurden, gewichtet nach ihren posterioren Wahrscheinlichkeiten kombiniert (Körding et al., 2007).

Abb. 1:

A. Das Bayesianische kausale Inferenz Modell: Das generative Modell der Bayesianischen kausalen Inferenz modelliert explizit, ob die ´der gesehene Vogel´ und das ´Zwitschern´ auf einer gemeinsamen (C=1) oder zweie unabhängigen (C=2) Ursachen beruhen (Körding et al., 2007). Im Falle einer gemeinsamen Ursache wird ein einziger ´wahrer´ audio-visueller Ort (S_AV) von einer ‘prior‘ räumlichen Verteilung gewählt. Im Falle zweier unabhängiger Ursachen werden der ´wahre´ auditorische (S_A) und der ‘wahre‘ visuelle (S_V) Ort unabhängig voneinander von einer ‘prior‘ räumlichen Verteilung gewählt. Schließlich werden unabängige auditorische und visuelle Störsignale oder Rauschen eingeführt, um auditorische (X_A) und visuelle (X_V) Inputs zu generieren. B. Der visuelle ‘bias‘ in der Wahrnehmung des Ortes eines Tones ist dargestellt als Funktion des räumlichen Abstands der auditorischen und visuellen Quellen voneinander. Wie von dem Bayesianischen kausalen Inferenz Modell vorhergesagt, integriert der Beobachter die geschätzten Orte der auditorischen und visuellen Quelle gewichtet proportional zu deren räumlichen Verlässlichkeiten. Dadurch, dass das visuelle Signal für räumliche Lokalisierung verlässlicher ist als das auditorische Signal, wird der Ort der auditorischen Quelle näher bei der visuellen Quelle wahrgenommen, i. e. eine sogenannter visuell induzierter Bias in der auditorischen Raumwahrnehmung. Dieser visuelle Bias nimmt zunächst zu, dann aber für größere räumliche Abstände zwischen der auditorischen und visuellen Quelle wieder ab. Mit anderen Worten audiovisuelle Interaktionen und Biases verringern sich, wenn es unwahrscheinlich ist, dass auditorische und visuelle Signale von einer einzigen Quelle stammen (Rohe und Noppeney, 2015b). C. Die Bayesianische kausale Inferenz innerhalb der corticalen Hierarchie. Primäre auditorische Areale enkodieren den Ort des Tones, primär visuelle Areale den Ort des Blitzes. Entsprechend dem Prinzip der obligatorischen Integration integriert der posteriore intraparietale Cortex sensorische Signale proportional zu ihrer Verlässlichkeit. Der anteriore sulcus intraparietalis berechnet schließlich die auditorischen und visuellen Orte gemäß Bayesianischer kausaler Inferenz. Mit anderen Worten anteriore parietale Areale integrieren Signale, wenn sie wahrscheinlich von einer Quelle kommen, aber segregieren sie, wenn sie eher von zwei Quellen kommen (Rohe und Noppeney, 2015a). Nur an der Spitze der Verarbeitungshierarchie berücksichtigt das Gehirn somit seine Ungewissheit über die kausale Struktur, wie beispielsweise die Anzahl der Quellen, in seinen Berechnungen.

Zunehmend legen Studien nahe, dass der menschliche Beobachter zwischen sensorischer Integration und Segregation abwägt wie qualitativ von dem Bayesianischen Modell der kausalen Inferenz vorhergesagt (Beierholm et al., 2009; Bertelson und Radeau, 1981; Landy et al., 1995; Roach et al., 2006; Shams und Beierholm, 2010; Wallace et al., 2004). In Laborexperimenten wurde dies primär für räumliche Lokalisation (Körding et al., 2007; Rohe und Noppeney, 2015a, 2015b; Wozny et al., 2010) und Spracherkennungsaufgaben (Magnotti und Beauchamp, 2017; Magnotti et al., 2013) gezeigt. Bei räumlichen Lokalisierungsexperimenten werden dem Beobachter auditorische (z. B. ein kurzer Ton) und visuelle Signale (z. B. ein Blitz) gleichzeitig entweder an demselben oder an unterschiedlichen Orten präsentiert. Bei jedem Durchlauf muss der Beobachter den Ort des Blitzes und/oder den des Tones bestimmen. Die Ergebnisse zeigen, dass der Beobacher einen Ton, der synchron aber an einem anderen Ort als der Blitz präsentiert wird, fehllokalisiert. In Abhängigkeit von den auditorischen und visuellen Verlässlichkeiten nimmt er den Ton näher beim Blitz und umgekehrt den Blitz näher beim Ton wahr. Wie vom Bayesianischen Modell der kausalen Inferenz vorhergesagt sind diese systematischen räumlichen Fehllokalisationen (sogenannte ‘crossmodale biases‘) besonders ausgeprägt, wenn die auditorischen und visuellen Signale nahe beeinander sind. Sie vermindern sich mit zunehmendem audiovisuellen Abstand, bei dem es unwahrscheinlich ist, dass auditorische and visuelle Signale von einer gemeinsamen Quelle stammen (Körding et al., 2007; Rohe und Noppeney, 2015a, 2015b; Wozny et al., 2010).

Die Einflüsse eines visuellen Reizes auf die räumliche Wahrnehmung eines synchronen aber räumlich versetzten Geräusches sind auch die Grundlage für den Ventriloquist- oder auch Bauchredner-Effekt (Bertelson und Radeau, 1981; Bonath et al., 2007; Driver, 1996). Dieser beschreibt eine Wahrnehmungsillusion, die bereits in der Antike für religiöse Zwecke und später zu Unterhaltungszwecken auf Jahrmärkten genutzt wurde (Vox, 1981). Um die Illusion des Bauchredens zu erzeugen, spricht der Puppenspieler ohne seine Lippen zu bewegen. Gleichzeitig positioniert er die Puppe in der Nähe seines Gesichtes und bewegt die Lippen der Puppe synchron zu seinem eigenen Sprechen. Infolge der zeitlichen Korrelation zwischen dem auditorischen (i. e. Sprechsignal des Puppenspielers) und dem visuellen (i. e. Gesichtsbewegungen der Puppe) Signal schließt der Beobachter, dass die beiden Sinnessignale von einer gemeinsamen Ursache stammen, und integriert sie proportional zu ihren auditorischen und visuellen Verlässlichkeiten in eine kohärente Wahrnehmung. Da der Sehsinn präzisere räumliche Informationen liefert als der Hörsinn, fehllokalisiert der Betrachter das Sprechsignal des Puppenspielers und ordnet es der Puppe zu (Alais und Burr, 2004). Somit entsteht die Bauchredner-Illusion dadurch, dass das Gehirn Seh- und Hörsignale gemäß den Prinzipien der Bayesianischen kausalen Inferenz fälschlicherweise integriert, obwohl sie eigentlich von zwei verschiedenen Quellen kommen (siehe Exkurs 1 Box1 für Illusionen in der multisensorischen Wahrnehmung).

Multisensorische Interaktionen sind ubiquitär im Neocortex

Traditionell wurde angenommen, dass multisensorische Integration erst in höher geordneten Assoziationsarealen wie dem parietalen oder präfrontalen Cortex stattfindet (Avillac et al., 2007; Barraclough et al., 2005; Beauchamp et al., 2004; Calvert et al., 2000; Driver und Noesselt, 2008; Ghazanfar et al., 2008; Macaluso et al., 2003; Miller und D’Esposito, 2005; Sadaghiani et al., 2009; Schroeder und Foxe, 2002; Stevenson und James, 2009). Über die letzten beiden Jahrzehnte zeigte jedoch die Neuroimaging-Forschung am Menschen (Foxe et al., 2002; Lee und Noppeney, 2011a, 2014; Lehmann et al., 2006; Martuzzi et al., 2007; Molholm et al., 2002; Noesselt et al., 2007; Werner und Noppeney, 2010a), die Neurophysiologie an nicht-menschlichen Primaten oder Nagern (Atilgan et al., 2018; Bieler et al., 2017; Bizley et al., 2006; Bizley und King, 2009; Foxe und Schroeder, 2005; Ghazanfar et al., 2005; Ibrahim et al., 2016; Iurilli et al., 2012; Lakatos et al., 2007; Schroeder und Foxe, 2002; Kayser und Logothetis, 2007) und die Neuroanatomie (Falchier et al., 2002; Rockland und Ojima, 2003; Schroeder et al., 2003), dass multisensorische Integration bereits in frühen und sogar primär sensorischen Arealen stattfindet und dann progressiv entlang der corticalen Hierarchie zunimmt. Provokativ wurde sogar behauptet, dass ´der gesamte Neocortex multisensorisch sei‘ (Ghazanfar und Schroeder, 2006).

Zahlreiche fMRI – und EEG – Studien am Menschen zeigten, dass multisensorische Interaktionen in primär sensorischen Bereichen und in frühen Verarbeitungsstadien stattfinden und teilweise 100 ms nach dem Stimulus und sogar früher beobachtet werden können (Besle et al., 2008; Foxe et al., 2000; Molholm et al., 2002; Molholm et al., 2004). Gleichermaßen zeigten neurophysiologische Untersuchungen an nicht-humanen Primaten (Kayser et al., 2008, 2010; Lakatos et al., 2009; Schroeder und Foxe, 2005) oder Nagern (Atilgan et al., 2018; Bieler et al., 2017; Bizley und King, 2009; Bizley et al., 2007), dass die Antwort auf den präferierten (i. e. auditorischen) Stimulus im auditiven Cortex, durch einen synchronen Stimulus einer nicht-präferierten Sinnesmodalität (e. g. visuell) verstärkt oder auch unterdrückt werden kann. Diese frühen multisensorischen Interaktionen können auf Top-Down Einflüssen von höheren temporalen oder parietalen Cortices beruhen (Seltzer und Pandya, 1994) oder durch thalamo-corticale Mechanismen (zum Beispiel Pulvinar) oder direkte Verbindungen zwischen sensorischen Cortices (Mussacchia et al., 2014; Schroeder et al., 2003) vermittelt werden. In der Tat konnten neuroanatomische Tracer-Studien an nicht-menschlichen Primaten (Falchier et al, 2002; Rockland und Ojima, 2003) und Nagern (Bizley et al., 2007; Budinger et al., 2006; Campi et al., 2009; Ibrahim et al., 2016) direkte Verbindungen zwischen frühen oder sogar primären auditorischen und visuellen Arealen zeigen.

Die Allgegenwärtigkeit des multisensorischen Zusammenspiels auf allen Ebenen der corticalen Verarbeitung stellt das traditionelle, hierarchische Modell der späten Integration in Frage. Die vielseitigen multisensorischen Interaktionen in thalamo-corticalen, cortico-corticalen und höhergeordneten Assoziationscortices stattfindet (Musacchia und Schroeder, 2009; Schroeder et al., 2003) erfordern nun die genauere Charakterisierung ihrer funktionellen Eigenschaften und Verhaltensrelevanz.

Bisherige Studien haben in frühen sensorischen Cortices multisensorische Einflüsse beschrieben, in denen ein nicht-präferierter Reiz nicht nur die Antwort auf einen präferierten Reiz modulieren, sondern auch selbst eine Antwort auslösen kann (Atilgan et al., 2018; Bieler et al., 2017; Bizley und King, 2009; Bizley et al., 2007; Kayser et al., 2008; Lakatos et al., 2009; Meijer et al., 2017; Meredith und Allman, 2015). Sowohl Neuroimaging-Studien am Menschen (Leitão et al., 2012; Werner und Noppeney, 2011) als auch elektrophysiologische Untersuchungen an Nagern (Ibrahim et al., 2016; Iurilli et al., 2012) zeigten, dass nicht-präferierte Reize eine Deaktivierung oder synaptische Inhibition in sensorischen Cortices auslösen. Beispielsweise riefen visuelle Stimuli eine negative BOLD-Antwort in auditorischen Cortices hervor, während auditorische Stimuli synaptische Inhibierung und fMRI-Deaktivierungen in visuellen Cortices erzeugten (Ibrahim et al., 2016; Iurilli et al., 2012; Leitão et al., 2012). Jedoch ruft ein Stimulus einer nicht-präferierten sensorischen Modalität nicht unbedingt eine verlässliche Antwort alleine hervor. In vielen Fällen moduliert er die Antwort auf einen Stimulus einer präferierten sensorischen Modalität. So moduliert ein synchroner visueller Input zum Beispiel die Antwort auf einen auditorischen Stimulus im primären und sekundären auditorischen Cortex (Kayser et al., 2010). Lakatos und Kollegen postulierten, dass diese modulatorischen Interaktionen auf Mechanismen des ‘Phase Resetting‘ von Theta-Oszillationen beruhen (Lakatos et al., 2009; für relevante Forschung in Nagern siehe auch Sieben et al., 2012).

Da in unserer natürlichen Umgebung das visuelle Signal dem auditorischen oft vorangeht (z. B. artikulatorische Gesichtsbewegungen), kann dieses die auditorisch-induzierte Aktivität beeinflussen, indem es die Phase der neuronalen Oszillationen im auditorischen Cortex zurücksetzt (Lakatos et al., 2009; Schroeder et al., 2008). Dies könnte einen bedeutsamen Mechanismus darstellen, durch welchen die Salienz von multisensorischen Ereignissen erhöht und deren Wahrnehmung erleichtert wird. Für zeitsensitive Mechanismen sprechen jüngste neurophysiologische (Kayser et al., 2010) und fMRI-Studien (Lewis und Noppeney, 2010; Werner und Noppeney, 2011), in denen audio-visuelle Interaktionen im Heschl’s Gyrus und dem Planum temporale von der temporalen Koinzi-denz oder Korrelationen der auditorischen and visuellen Signale beeinflusst werden. Diese multisensorisch verstärkte Antwort in primär sensorischen Cortices wurde dann entsprechend ihrer Aufgabenrelevanz an höher geordnete Assoziationscortices weitergeleitet, beispielsweise an den ventralen temporalen Cortex zur Objekterkennung oder an hMT/V5 zur Bewegungswahrnehmung. Dies weist darauf hin, dass Integrationseffekte in frühen sensorischen Arealen höher geordnete Verarbeitungsprozesse und dadurch letztendlich das Verhalten beeinflussen (Lewis und Noppeney, 2010).

Höher geordnete Assoziationsareale wie der sulcus temporalis superior oder der parietale Cortex zeichnen sich durch größere zeitliche Integrationsfenster aus, so dass multisensorische Interaktionen geringer von der Synchonizität der sensorischen Inputs abhängen (Werner und Noppeney, 2011). Stattdessen integrieren diese Areale sensorische Signale in Repräsentationen (zum Beispiel Raum, Objekt, Sprache etc.), die wichtig für die jeweilige Aufgabe des Beobachters sind. In diesem Sinne prädizierten die Aktivierungsprofile in STS und IPS, ob der menschliche Beobachter durch multisensorische Integration seine Leistung verbessern kann: Je superadditiver die multisensorische Integration im sulcus temporalis superior, desto ausgeprägter verbesserte sich die Objektkategorisierungsleistung des Beobachters durch audiovisuelle Integration (Werner und Noppeney, 2010a, 2010b).

Selbst wenn sensorische Signale aufgrund ihrer Inkongruenz nicht in eine einheitliche Wahrnehmung integriert werden, so können sie doch auf der Ebene der Entscheidungsfindung interagieren. Zahlreiche Studien haben diese multisensorischen Interferenz-Effekte in Paradigmen der selektiven intersensorischen Aufmerksamkeit untersucht, in denen Versuchsprobanden zwischen visuellen Reizen – beispielsweise den geschriebenen Wörtern ‘links‘ oder ‘rechts‘ unterscheiden müssen, während sie einen synchron präsentierten auditorischen Reiz (z. B. das gesprochene Wort ‘links‘ oder ‘rechts‘) ignorieren sollen. Die Versuchspersonen sind langsamer and machen häufiger Fehler, wenn der auditorische Reiz inkongruent zum visuellen Reiz ist (Noppeney et al., 2008) und vice versa (Krugliak und Noppeney, 2015; Marks, 1987). Wir konnten vor einigen Jahren in einer fMRI – Studie zeigen, dass der präfrontale Cortex – wie von einem Bayesianischen Kompatibilitätsmodell vorhergesagt – sensorische Informationen über die auditorischen und visuellen Stimuli akkumuliert bis ein Schwellenwert für eine Entscheidung erreicht und eine Antwort hervorgerufen wird (Noppeney et al., 2010). Ferner reagierte der präfrontale Cortex auf kongruente audiovisuelle Signale mit einer schwächeren Antwort als auf unisensorische Signale, was durch eine erleichterte und raschere Entscheidungsfindung erklärt werden kann (Sugihara et al., 2006; Werner und Noppeney, 2010a). Interessanterweise wurden die suppressiven Interaktionen vermehrt im Grenzbereich zwischen auditorisch und visuell dominanten Bereichen gefunden (Wallace et al., 2004). Dies konvergiert mit Studien an Nagern, die multisensorische Interaktionen überwiegend in den Transitionszonen zwischen sensorisch-dominanten Cortices zeigten.

Abb. 2:

Späte und mehrstufige Integrationsmodelle. Klassiche Modelle nehmen an, dass multisensorische Integration in späten Phasen der Informationsverarbeitung in Assoziationsarealen stattfindet. Wir schlagen ein neues Modell vor, in dem unterschiedliche Arten von Informationen, die von den sensorischen Inputs abstrahiert wurden, auf verschiedenen Ebenen der corticalen Verarbeitungshierarchie integriert werden.

Zusammengefasst zeigen diese Forschungsergebnisse, dass multisensorische Integration ein vielschichtiger Prozess ist, der sich auf mehreren Ebenen entlang der corticalen Hierarchie vollzieht. Während einige sensorische Interaktionen bereits früh und sogar in primären sensorischen Arealen beginnen, werden andere Informationen erst auf höheren corticalen Ebenen integriert. Möglicherweise dienen multisensorische Interaktionen in frühen sensorischen Arealen dazu, die Salienz von multisensorischen Ereignissen zu verstärken. Dies beeinflusst die repräsentationellen Integrationsprozesse und Prozesse der Entscheidungsfindung auf höheren Ebenen der corticalen Hierarchie (Werner und Noppeney, 2010a).

Wie das Gehirn kausale Inferenz und Verlässlichkeits-abhängige Integration vollzieht

Zu Beginn unseres Artikels erörterten wir, dass das menschliche Gehirn zwei entscheidende Herausforderungen in der multisensorischen Welt lösen muss. Zum einen muss es Signale, die von einer gemeinsamen Ursache ausgehen, identifizieren und integrieren, während es Signale von unterschiedlichen Ereignissen segregieren muss. Zum anderen müssen Signale, die von einer gemeinsamen Ursache ausgehen, proportional zu ihren Verlässlichkeiten oder Präzisionen integriert werden. Während der erste Teil des Artikels Evidenzen aus dem Bereich der Verhaltensforschung vorstellte, werden wir im Folgenden neueste Ergebnisse aus den Bereichen der Neurophysiologie und des Neuroimaging diskutieren, die wertvolle Einblicke in die zugrunde liegenden neuronalen Mechanismen geben.

Seit den bahnbrechenden Arbeiten von Stein und Kollegen, die multisensorische Integration in den Colliculi superiores untersuchten (Meredith und Stein, 1983; Wallace et al., 1996; Stein und Meredith, 1993), konnten viele neurophysiologische und Neuroimaging-Studien zeigen, dass multisensorische Interaktionen und kausale Inferenz von Faktoren wie räumlicher Kolokalisation, zeitlicher Synchronizität und Korrelationen abhängen (Stein und Stanford, 2008). Im Detail zeigten Stein und andere Gruppen, dass audio-visuelle Interaktionen superadditiv für räumlich kolokalisierte audio-visuelle Signale sind (d. h. die neuronale Antwort auf den audio-visuellen Stimulus ist größer als die Summe der unisensorischen Antworten), sich jedoch in additive oder sogar suppressive Interaktionen verwandeln, wenn die auditorischen und visuellen Signale an unterschiedlichen Orten präsentiert werden und ein Signal außerhalb des rezeptiven Feldes eines anderen Reizes fällt (Stanford, 2005; Stanford und Stein, 2007; Wallace et al., 1996). Die neuronale Organisation in rezeptive Felder ermöglicht somit kausale Inferenz durch räumliche Integration and Segregation von Sinnessignalen.

Gleichfalls müssen Signale in einem zeitlichen Fenster von ungefähr 500 ms eintreffen, um in den colliculi superiores integriert zu werden. Nach jüngsten Modellansätzen hängt das zeitliche Bindungsfenster für kontinuierliche Signale wie Sprache von den audiovisuellen Signalkorrelationen ab, die das Gehirn möglicherweise mittels eines Hassenstein-Reichardt-Detektors, einer relativ einfachen aber dennoch physiologisch plausiblen Modellkomponente, bestimmt (Parise und Ernst, 2016). Vor Kurzem wurde untersucht, ob dieses zeitliche Bindungsfenster durch die internen Rhythmen des Gehirns, d. h. die neuronalen Oszillationen, beeinflusst wird. Die Studien zeigten, dass ein Reiz in einer Sinnesmodalität die Verarbeitung eines Reizes in einer anderen Sinnesmodalität durch ‘Phase resetting‘ von Oszillationen moduliert. Diese Modulation hängt von der oszillatorischen Zykluslänge und der audio-visuellen Asychnronizität ab (Lakatos et al., 2009). Darüberhinaus ließen jüngere Studien sogar vermuten, dass Änderungen in der Zykluslänge von Alpha-Oszillationen über die Zeit das sensorische Bindungsfenster dynamisch in einem Versuchsprobanden modulieren kann (Samaha und Postle, 2015). Gleichzeitig erklärte auch die Variabilität in der Alpha-Zykluslänge zwischen den Versuchsprobanden Unterschiede in der Weite ihres sensorischen Bindungsfenster. Schnellere Oszillationen waren mit kleineren zeitlichen Bindungsfenstern assoziiert (Cecere et al., 2015; Samaha und Postle, 2015). Die Vorstellung, dass Oszillationszyklen eine ähnliche Funktion für zeitliche Bindungsfenster erfüllen wie rezeptive Felder für räumliche Bindungsfenster, ist zwar faszinierend, jedoch sind weitere Studien und spezifischere Modelle nötig, um diese Hypothese zu festigen.

Jüngere neurophysiologische Studien an nicht-humanen Primaten untersuchten insbesondere, wie einzelne Neurone oder Neuronengruppen Signale proportional zu ihrer Verlässlichkeit oder Präzision integrieren. Fetsch und Kollegen zeigten, dass Makaken ähnlich wie menschliche Beobachter eine nahezu optimale multisensorische Varianzreduktion und Leistungsverbesserung zeigten, wenn sie die Richtung ihrer eigenen Bewegung auf Grund von visuellen und vestibulären Signalen beurteilten (Fetsch et al., 2012). Gleichzeitige neuronale Ableitungen im dorsalen Bewegungsareal MSTd konnten zeigen, dass kongruente Neurone visuelle und vestibuläre Inputs subadditiv (Gu et al., 2008) und proportional zu ihrer jeweiligen Verlässlichkeit (Fetsch et al., 2012) kombinierten, wobei sie verlässlichere sensorische Signale stärker wichteten (Fetsch et al., 2002). Wie durch das Maximum Likelihood Estimation – Modell vorhergesagt reagierten Neurone unter visuo-vestibulärer Stimulierung präziser auf Eigenbewegung als unter unisensorischer Stimulierug (Gu et al., 2008), genauso wie die Makaken auf der Verhaltensebene besser in der Beurteilung ihrer Bewegungsrichtung waren (siehe auch Nikbakht et al., 2018 für analoge Ergebnisse in Nagern). Gleichfalls zeigten die Dekodierungsanalysen der neuronalen Gruppen in MSTd neuronalen Gruppen, dass die sensorischen Gewichtungen auf der neuronalen und Verhaltensebene sich entsprachen (Fetsch et al., 2012). Zusätzliche elektrische Mikrostimulierung und chemische Inaktivierung des Areals MSTd unterstützten ferner einen kausalen Zusammenhang zwischen der neuronalen Verarbeitung in MSTd und dem Verhalten der Makaken in einer Richtungsunterscheidungsaufgabe (Gu et al., 2012).

Zusammengefasst zeigt diese große Anzahl an exzellenten Studien, dass neuronale Populationen sowie Einzelneurone in MSTd visuelle und vestibuläre Signale proportional zu ihrer Verlässlichkeit in Repräsentationen der Eigenbewegung integrieren, welche relevant für die Wahrnehumg und Entscheidungen der nicht-humanen Primaten sind. Während diese Verarbeitung im Einklang mit dem Maximum Likelihood Estimation – Modell steht, können sie auch durch Mechanismen der divisiven Normalisierung erklärt werden (Ohshiro et al., 2011, 2017), eines kanonisch neuronalen Verarbeitungsmechanismus, der bereits für das visuelle System und Aufmerksamkeitsmodulierung vorgeschlagen wurde (Carandini und Heeger, 2012). Darüberhinaus kann die divisive Normalisierung auch eine Verstärkung der Antwort erklären, welche maximal ist, wenn die Stärke des individuellen Signals schwach ist – ein Prinzip, das seit den wegweisenden Studien von Stein und Kollegen als inverse Effektivität bekannt ist (Stein und Meredith, 1993). Wie vom Prinzip der inversen Effektivität beschrieben, zeigten Studien mittels vielfältiger Methoden und in unterschiedlichen Spezies, dass die Operationen (d. h. super- vs. subadditive) der multisensorischen Integration von der Signalstärke, sowie der Antwort eines Neurons oder Voxels (i. e. Volumenelement in Neuroimaging) auf unisensorische Stimuli abhängt (Kayser et al., 2008; Siemann et al., 2015; Stanford et al., 2005; Stein und Meredith, 1993; Stein et al., 2014; Werner und Noppeney, 2010b).

Auf neuronaler Systemebene demonstrierten funktionelle Bildgebungsstudien im Menschen, dass höhere Assoziationscortices wie der intraparietale sulcus oder der sulcus temporalis superior sensorische Signale proportional zu ihrer Verlässlichkeit in der Spracherkennung (Nath und Beauchamp, 2011), bei räumlicher Lokalisierung (Rohe und Noppeney, 2018) sowie Formunterscheidungsaufgaben (Beauchamp et al., 2010; Helbig et al., 2012) integrieren. Vor Kurzem untersuchten zwei funktionelle Bildgebungsstudien, wie das menschliche Gehirn die Bayesianische kausale Inferenz in einem räumlichen Ventriloquist-Paradigma vollzieht (Rohe und Noppeney, 2015a, 2016). Im Magnetresonanztomografen wurden Probanden audio-visuelle Signale präsentiert, wobei der Abstand zwischen dem auditorischen und visuellen Signal und die visuelle Verlässlichkeit von Durchlauf zu Durchlauf vaiierten. Bei jedem Durchlauf mussten die Probanden entweder den Ton oder den visuellen Stimulus lokalisieren. Gemeinsam zeigten die Forschungsergebnisse mittels Psychophysik, fMRI, Bayesianischer Modellierung und multivariater Analysemethoden, dass das Gehirn Bayesianische kausale Inferenz berechnet, indem es multiple räumliche Schätzwerte auf mehreren Ebenen der corticalen Hierarchie encodiert. Am Fuße der Hierarchie kodierten auditorische Areale mehrheitlich Schätzwerte für den Ort des Tones und visuelle Areale überwiegend für den Ort des visuellen Stimulus (= Segregation, d. h. Signaltrennung). Im hinteren Sulcus intraparietalis wird der Stimulusort unter der Annahme geschätzt, dass die zwei Signale von einer gemeinsamen Quelle ausgehen (= obligatorische Integration). Nur an der Spitze der Hierarchie, im vorderen Sulcus intraparietalis, wird die Ungewissheit der kausalen Struktur der Welt mitberücksichtigt. Wie durch das Modell der Bayesianischen kausalen Inferenz vorhergesagt wird beispielsweise der Ort des Tones berechnet, in dem die Schätzwerte, welche man mittels Signaltrennung und obligatorischer Integration erhalten hat, gemittelt in Abhängigkeit der posterioren Wahrscheinlichkeiten einer gemeinsamen oder zweier unabhängiger Quellen ermittelt werden. Somit berechnet der anteriore IPS einen Schätzwert des Stimulusortes, der elegant von Integration zu Segregation übergeht als Funktion der räumlichen Distanz zwischen den auditorischen und visuellen Signalen (Rohe und Noppeney, 2015a, 2016).

Zusammenfassung

In unserer natürlichen Umgebung werden unsere Sinne unaufhörlich mit den unterschiedlichsten Signalen bombardiert. Idealerweise sollte unser Gehirn die Signale proportional zu ihrer Verlässlichkeit integrieren, wenn sie von einer gemeinsamen Quelle stammen. Demgegenüber sollte es sie unabhängig voneinander verarbeiten, wenn sie von unterschiedlichen Quellen kommen. Tatsächlich unterscheiden menschliche Beobachter zwischen Integration und Segregation wie vom Bayesianischen Modell der kausalen Inferenz vorhergsagt. Neurophysiologische Studien in nicht-humanen Primaten und anderen Spezies konnten auf neuronaler Ebene zeigen, dass das Gehirn Signale, die von gemeinsamen Quellen stammen, proportional zu ihrer relativen Verlässlichkeit in eine kohärente Repräsentation der Welt integriert. Erste Neuroimaging-Studien am Menschen zeigen, dass das Gehirn sensorische Signale, wie vom Bayesianischen Model der kausalen Inferenz vorhergesagt, integriert, indem es mehrere perzeptuelle Schätzwerte für die Szenarien einer gemeinsamen oder zweier verschiedener Quellen entlang der corticalen Hierarchie bildet. Um unser Verständnis der neuronalen Mechanismen und Verabeitungsprinzipien und ihrer Verhaltensrelevanz zu vertiefen, sind weitere Studien in unterschiedlichen Spezies erforderlich, die Psychophysik, Computermodelle, Neurophysiologie und Neuroimaging miteinander kombinieren.

Exkurs: Multisensorische Bindung als Mechanismus für perzeptuelle Illusion

Die Berechnungen unseres Wahrnehmungssystems sind optimiert, effektive Interaktionen mit unserer natürlichen Umgebung zu gewährleisten. Im Labor können wir die Wahrnehmung von Versuchspersonen täuschen, indem wir sie in Situationen versetzen, welche die natürliche Statistik, für welche ihre Wahrnehmungssysteme optimiert wurden, auf den Kopf stellt. So können wir multisensorische Wahrnehmungstäuschungen dadurch hervorrufen, dass wir sensorische Signale entlang einer bestimmten Dimension (zum Beispiel Raum, Zeit, Anzahl, Phonem) in Konflikt miteinander bringen und gleichzeitig genügend multisensorische Korrespondenzen und Kongruenzen entlang einer anderen Dimension liefern. Damit können wir das Gehirn dazu überlisten, Signale, die eigentlich im Widerspruch zueinander stehen, trotzdem in eine einheitliche illusorische Wahrnehmung zu verschmelzen. Multisensorische Integration liegt zahlreichen Wahrnehmungsillusionen zugrunde. Im Folgenden werden wir die bekanntesten Beispiele vorstellen:

In der Doppelblitz-Illusion (double flash illusion, Shams et al., 2000) werden Probanden mit einem einzelnen Lichtblitz konfrontiert, der zwischen zwei Piep-Tönen erscheint. In den meisten Fällen berichten die Versuchspersonen, dass sie zwei Lichtblitze sahen. Ihre Wahrnehmung ist somit stärker durch die Anzahl der Tonsignale als den zeitlich unpräzisen Blitz beeinflusst. Während sich die Illusion des Bauchredners der räumlichen Ungewissheit des Gehörs bedient (in den meisten Fällen können wir ein Objekt besser durch unser Seh- als unser Hörvermögen lokalisieren), nutzt die Doppelblitz-Illusion die zeitliche Ungewissheit des Sehvermögens (die Ohren sind verlässlicher als die Augen, um zu entscheiden, wann etwas stattgefunden hat). Daher kann die Doppelblitz-Illusion als das zeitliche Äquivalent zu dem Bauchredner-Effekt angesehen werden. Aber selbstverständlich sind zeitliche und räumliche Dimensionen nicht völlig vergleichbar. Während der räumliche Bauchredner-Effekt zeigt, wie das Gehirn die räumliche Lokalisation eines Ereignisses abschätzt (d. h. Schätzaufgabe), verdeutlicht die Doppelblitz-Illusion, wie das Gehirn die Anzahl von Ereignissen bestimmt (d. h. Detektionsaufgabe).

Genauso können auch multisensorische Sprachsignale manipuliert werden, um illusorische Wahrnehmungen zu erzeugen. In der sogenannten McGurk-McDonald-Illusion (McGurk und MacDonald, 1976) wird dem Proband gleichzeitig eine Videoaufnahme der Lippenbewegungen eines Sprechers (e. g. /ga/) und die Tonaufnahme eines Phonems (e. g. /ba/) präsentiert. Da auditorische and visuelle Reize synchron präsentiert werden, integriert die Versuchsperson die widersprüchlichen audiovisuellen Signale in eine illusorische /da/ Wahrnehmung. Diese illusorische Wahrnehmung kann wiederum durch das Maximum Likelihood Estimation – Modell erklärt werden. Mithilfe eines Sprachgenerators lässt sich eine künstliche ´Phonem´ Dimension schaffen, die ein /ba/ Phonem in ein /ga/ Phonem morpht. Die Wahrnehmung von ´ba´- ´da´- ´ga´ Phonem-Kategorien entsteht als Folge menschlicher kategorischer Wahrnehmung (Liberman et al., 1957).

Die Gummihand-Illusion (‘rubber hand illusion‘, Botvinick und Cohen, 1998) ist ein Beispiel dafür, wie unsere eigene Körperwahrnehmung getäuscht werden kann. Sie entsteht dadurch, das der visuelle und der propriozeptive Sinn, der der Körperwahrnehmung im Raum zugrunde liegt, in Konflikt miteinander gebracht werden. Bei der Gummihand-Illusion legt der Teilnehmer beispielsweise die rechte Hand auf den Tisch. Die rechte Hand wird dann durch eine Trennwand optisch vor dem Blick der Versuchsperson verborgen. Statt auf seine rechte Hand blickt der Teilnehmer auf eine Ersatz-Gummihand, die vor ihm genau parallel zu seiner eigenen Hand gut sichtbar platziert wird. Der Versuchsleiter streicht dann sowohl die echte als auch die Gummihand gleichzeitig mit Pinseln. Dabei achtet er darauf, dass die Pinselstriche auf beiden Armen und Händen synchron so parallel wie möglich durchgeführt werden. Dadurch, dass der Teilnehmer die Striche nun gleichzeitig auf der Gummihand sieht, sie jedoch auf der eigenen Hand fühlt, erhält er bald den Eindruck, dass die sichtbare Gummihand seine eigene Hand sei. Der visuelle Sinn ist also dominanter und überschreibt die propriozeptive Wahrnehmung des eigenen Armes im Raum, sodass ein Transfer des taktilen Gefühls in der rechten Hand auf die Gummihand erfolgt. Diese gefühlte Körperschema-Illusion ist bei vielen Menschen sehr ausgeprägt, auch wenn der Verstand ihnen sagt, dass die Gummihand kein Teil ihres Körpers ist. Um den maximalen Effekt dieses Phänomens zu erzielen, werden solche Demonstrationen oft damit beendet, dass der Versuchsleiter unerwartet mit einem Hammer auf die Gummihand schlägt.

Abb. 3:

Die Gummihand-Illusion. Der Teilnehmer wird an einen Tisch gesetzt. Während seine rechte Hand durch einen Schirm abgedeckt ist, blickt er auf eine Gummihand, die parallel zu seiner eigenen Hand liegt. Der Versuchsdurchführer streicht mit Pinseln gleichzeitig und parallel über die Hand des Teilnehmers und die Gummihand. Die meisten Versuchsteilnehmer nehmen dadurch die Gummihand als Teil ihres eigenen Körpers wahr.

[Übersetzt von Dr. Joo-Hee Wälzlein]

Letztlich ist selbst unser Geschmackssinn nicht von multisensorischen Illusionen ausgenommen. Professor Charles Spence hat sich auf sensorische Wahrnehmung von Speisen spezialisiert. Seine Gruppe konnte zeigen, dass andere Sinne mitbestimmen, wie uns Speisen schmecken. Gewicht, die Beschaffenheit von Besteck (Harrar und Spence, 2013), Farbe und Form des Tellers (Piqueras-Fiszman et al., 2012) und die Beschaffenheit der Verpackung (Piqueras-Fiszman et al., 2012) beeinflussen, wie wir Speisen wahrnehmen. Im Jahre 2008 wurde Professor Spence (zusammen mit seinem Kollegen Massimiliano Zampini) mit dem Ig Nobelpreis für die Entdeckung ausgezeichnet, dass Kartoffelchips mittels digitaler Tonmanipulation als knuspriger wahrgenommen werden.

Danksagung: Diese Studie wurde vom ERC-2012-StG_20111109 multsens finanziert.