HyperAIHyperAI

Command Palette

Search for a command to run...

OFA: Vereinigung von Architekturen, Aufgaben und Modalitäten durch ein einfaches Sequenz-zu-Sequenz-Lernframework

Peng Wang An Yang Rui Men Junyang Lin Shuai Bai Zhikang Li Jianxin Ma Chang Zhou Jingren Zhou Hongxia Yang

Zusammenfassung

In dieser Arbeit verfolgen wir ein einheitliches Paradigma für multimodales Vortrainieren, um die Gerüste komplexer, aufgaben- und modalitätsspezifischer Anpassungen zu überwinden. Wir schlagen OFA vor, einen aufgabenunabhängigen (Task-Agnostic) und modalitätsunabhängigen (Modality-Agnostic) Rahmen, der die Aufgabenkomplettheit (Task Comprehensiveness) unterstützt. OFA vereint eine Vielzahl von kreuzmodalen und unimodalen Aufgaben, darunter Bildgenerierung, visuelle Verankerung, Bildunterschriftenerstellung, Bildklassifizierung, Sprachmodellierung usw., in einem einfachen sequenzbasierten Lernrahmen. OFA folgt im Vortrainierungs- und Feintrainierungsstadium einem anweisungsbasierten Lernen und erfordert keine zusätzlichen aufgabenspezifischen Schichten für nachgeschaltete Aufgaben. Im Vergleich zu den jüngsten state-of-the-art Vision & Language-Modellen, die sich auf extrem große kreuzmodale Datensätze stützen, wird OFA nur mit 20 Millionen öffentlich zugänglichen Bild-Text-Paaren vortrainiert. Trotz seiner Einfachheit und des vergleichsweise kleinen Trainingsdatums erreicht OFA neue Spitzenleistungen (SOTAs) in einer Reihe von kreuzmodalen Aufgaben und gleichzeitig sehr wettbewerbsfähige Leistungen in unimodalen Aufgaben. Unsere weitere Analyse zeigt, dass OFA auch effektiv auf unbekannte Aufgaben und unbekannte Domänen übertragen werden kann. Unser Code und unsere Modelle sind öffentlich verfügbar unter https://github.com/OFA-Sys/OFA.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
OFA: Vereinigung von Architekturen, Aufgaben und Modalitäten durch ein einfaches Sequenz-zu-Sequenz-Lernframework | Paper | HyperAI