Als Menschen bewegen wir uns in einer multimodalen Welt und bilden ein ganzheitliches Verständnis aus allen unseren Sinneswahrnehmungen. Wir stellen MERLOT Reserve vor, ein Modell, das Videos zeitlich gemeinsam darstellt – durch ein neues Trainingsziel, das aus Audio, Untertiteln und Videobildern lernt. Gegeben ein Video ersetzen wir Text- und Audio-Ausschnitte durch einen MASK-Token; das Modell lernt, den korrekten maskierten Ausschnitt zu erkennen. Unser Ziel funktioniert schneller als Alternativen und zeigt hervorragende Leistung im großen Maßstab: Wir pretrainen auf 20 Millionen YouTube-Videos.Empirische Ergebnisse zeigen, dass MERLOT Reserve starke multimodale Darstellungen lernt. Nach Feinabstimmung erreicht es den Stand der Technik bei Visual Commonsense Reasoning (VCR), TVQA und Kinetics-600 – wobei es vorherige Ansätze um 5 %, 7 % und 1,5 % übertrifft. Ablationen belegen, dass diese Aufgaben von der Audio-Pretraining-Phase profitieren – selbst VCR, eine Frage-Antwort-Aufgabe, die zentral auf Bildern basiert (ohne Ton). Darüber hinaus ermöglicht unser Ziel direkte Vorhersagen ohne zusätzliche Anpassung und offenbart ein starkes multimodales gemeinsames Verständnis. In einer vollständig zero-shot-Situation erzielt unser Modell konkurrenzfähige Ergebnisse bei vier Video-Aufgaben und übertrifft sogar überwachte Ansätze auf dem kürzlich vorgestellten Situated Reasoning (STAR)-Benchmark.Wir analysieren, warum Audio zu besseren Vision-Sprache-Darstellungen führt, und weisen auf erhebliche Chancen für zukünftige Forschung hin. Abschließend diskutieren wir ethische und gesellschaftliche Implikationen des multimodalen Pretrainings.