3.3 Audiovisuelle Verbindungen

Trotz der räumlichen Trennung von Klangquelle (Lautsprecher) und Leinwand verbinden die RezipientInnen auditive und visuelle Reize ohne weiteres, wenn sie „zusammengehörig“ erscheinen. Dabei wird „…die Lokalisation von Geräuschen in hohem Maß von der visuellen Anordnung der Geräuschquelle beeinflusst“ (Bullerjahn, 2008, S. 210). Empirische Untersuchungen zum Bauchrednereffekt belegen die Tendenz des Wahrnehmungsapparats, zeitlich synchrone Ereignisse zusammenzufassen, obwohl sie nicht den gleichen Ursprung haben bzw. somit nur in der Wahrnehmung, nicht aber in der physikalischen Welt kongruente Eigenschaften aufweisen (vgl. Marks, 2004, S. 89).

Beispiel: The Opry House (Walt Disney 1929)

Im Sinne einer ganzheitlichen Wahrnehmung stellt diese Integration von Reizen den „Normalzustand“ dar. Denn erst die Speicherung des Klangs ermöglichte die von ihrem ursprünglichen visuellen Anteil losgelöste Rezeption von Musik – sie war im Konzertsaal, auf der Bühne unter anderem durch die Bewegungen der Musiker stets holistisch und audiovisuell gewesen (vgl. Rösing, 2003, S. 10). Hören und Sehen verschränken sich dabei zu einer ganzheitlichen Wahrnehmung (vgl. Krause, 2001, S. 106). Dass es hierbei zu Beeinflussungen zwischen den Modalitäten kommt, zeigen unter anderem empirische Untersuchungen des McGurk-Effekts.

Beispiel: superposition (Ryochi Ikeda, 2014)

Die menschliche Wahrnehmung vermag also objektiv verschieden wahrnehmbare auditive und visuelle Reize als subjektive Einheit wahrzunehmen. Es bestehen neuronale Korrespondenzen bei der Verarbeitung von Information aller Sinneskanäle im Gehirn (Marks, 1978, S. 6). Zeitlich oder räumlich leicht divergierende Reize werden dabei mitunter aufgrund von intermodalen Analogien im Prozess des cross-modal pairing zu einer einzelnen Information integriert (vgl. Schlemmer, 2005, S. 176). Analog hierzu stellt auch im Film die zeitliche Synchronizität ein Kriterium für die Verbindung von auditiven und visuellen Reizen dar (vgl. Lipscomb, 2005). Die Kombination der beiden zeitgestaltenden Künste Film und Musik bot demnach hier von Anfang an starke Ansatzpunkte für den ästhetischen Umgang mit zusammenfallenden oder kontrapunktisch auftretenden auditiven und visuellen Ereignissen.

Audiovisuelle Kongruenzen

Neben diesen grundlegenden zeitlichen Verbindungen scheinen intermodale Analogien zwischen auditiver und visueller Wahrnehmung dafür zu sorgen, dass manche Reizkombinationen als besonders plausibel wahrgenommen werden. Die wahrnehmungspsychologische Grundlagenforschung lieferte hierzu in den letzten Jahren empirische Ergebnisse. Sie ging dabei von der Theorie der Intersensoriellen Eigenschaften (vgl. Werner, 1966) aus, welche besagt, dass sowohl ein Klang als auch ein visueller Wahrnehmungsreiz durch gemeinsame Qualitäten wie etwa Intensität (Lautheit), Helligkeit (Obertonspektrum), Volumen (Klangfülle), Dichte oder Rauhigkeit beschrieben werden kann (vgl. Haverkamp, 2002, S. 125). RezipientInnen von audiovisuellen Vorgängen können demnach einen Klang und ein (bewegtes) visuelles Objekt als ähnlich bezüglich ihrem Wert auf bspw. der Dimension der Dichte wahrnehmen, wenn beide über die entsprechenden Eigenschaften verfügen. Die interpersonale Varianz der Analogien ist relativ gering und einige Analogien werden von den meisten Personen als besonders nahe liegend empfunden (vgl. Haverkamp, 2003, S. 184). Insbesondere die empirischen Ergebnisse neuester wahrnehmungspsychologischer Forschung belegen, dass die intermodale Kongruenz von Reizen die Integration von auditiven und visuellen Reizen zu einem gemeinsamen Wahrnehmungsobjekt fördert (vgl. Parise/Spence, 2009, S. 6).