FLAVA: Ein grundlegendes Modell zur Ausrichtung von Sprache und Vision

Zustandsbestimmende visuelle und visuell-sprachliche Modelle stützen sich auf eine großskalige visuell-sprachliche Vortrainierung, um eine hohe Leistung auf einer Vielzahl von nachgeschalteten Aufgaben zu erzielen. Typischerweise sind solche Modelle entweder kreuzmodale (kontrastive) oder multimodale (mit früher Fusion), aber nicht beide gleichzeitig; zudem richten sie sich oft nur auf spezifische Modalitäten oder Aufgaben aus. Ein vielversprechender Ansatz wäre die Entwicklung eines einzigen, ganzheitlichen universellen Modells, das als „Grundlage“ dient und gleichzeitig alle Modalitäten anspricht – ein echtes visuell-sprachliches Grundmodell sollte sowohl visuelle als auch sprachliche Aufgaben sowie kreuz- und multimodale visuell-sprachliche Aufgaben gut bewältigen können. Wir stellen FLAVA als ein solches Modell vor und demonstrieren beeindruckende Ergebnisse auf einer breiten Palette von 35 Aufgaben, die diese Zielmodalitäten abdecken.