HyperAIHyperAI

Command Palette

Search for a command to run...

vor 2 Tagen

Versteht Verständnis die Generierung in einheitlichen multimodalen Modellen? Von der Analyse zur Wegweisung für die Zukunft

Yuwei Niu Weiyang Jin Jiaqi Liao Chaoran Feng Peng Jin Bin Lin Zongjian Li Bin Zhu Weihao Yu Li Yuan

Versteht Verständnis die Generierung in einheitlichen multimodalen Modellen? Von der Analyse zur Wegweisung für die Zukunft

Abstract

In den letzten Jahren sind erhebliche Fortschritte bei einheitlichen multimodalen Modellen verzeichnet worden, dennoch bleibt eine grundlegende Frage offen: Beeinflusst Verständnis tatsächlich die Generierung? Um diese Frage zu untersuchen, stellen wir UniSandbox vor – einen entkoppelten Evaluierungsrahmen, der zusammen mit kontrollierten, synthetischen Datensätzen eingesetzt wird, um Datenlecks zu vermeiden und eine detaillierte Analyse zu ermöglichen. Unsere Ergebnisse offenbaren eine erhebliche Kluft zwischen Verständnis und Generierung, die sich vor allem in zwei zentralen Dimensionen widerspiegelt: Schlussfolgerungsgenerierung und Wissensübertragung. Insbesondere bei Aufgaben zur Schlussfolgerungsgenerierung zeigen wir, dass eine explizite Ketten-des-Denkens (Chain-of-Thought, CoT) im Verständnismodul effektiv diese Kluft schließt. Darüber hinaus demonstrieren wir, dass ein Selbsttrainingsansatz erfolgreich diese Fähigkeit internalisieren kann, sodass während der Generierung implizites Schlussfolgern möglich wird. Zudem stellen wir bei Aufgaben zur Wissensübertragung fest, dass CoT den generativen Prozess unterstützt, indem er die Abrufung neu erlernten Wissens erleichtert. Außerdem entdecken wir, dass architektonisch abfragende Ansätze inhärente, CoT-ähnliche Eigenschaften aufweisen, die diese Übertragung beeinflussen. UniSandbox liefert erste Einsichten für die Gestaltung zukünftiger einheitlicher Architekturen und Trainingsstrategien, die die Kluft zwischen Verständnis und Generierung tatsächlich überbrücken. Der Quellcode und die Daten sind unter https://github.com/PKU-YuanGroup/UniSandBox verfügbar.

Code-Repositories

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Versteht Verständnis die Generierung in einheitlichen multimodalen Modellen? Von der Analyse zur Wegweisung für die Zukunft | Forschungsarbeiten | HyperAI