HyperAIHyperAI

Command Palette

Search for a command to run...

Ein hochwertiger Datensatz und eine zuverlässige Bewertung für die verzahnte Bild-Text-Generierung

Zusammenfassung

Neuere Fortschritte bei großen multimodalen Modellen (LMMs) haben das multimodale Verständnis und die Generierung erheblich verbessert. Dennoch kämpfen diese Modelle weiterhin damit, eng verzahnte Bild-Text-Ausgaben zu generieren, hauptsächlich aufgrund der begrenzten Größe, Qualität und instruktionalen Reichhaltigkeit der aktuellen Trainingsdatensätze. Um dieses Problem anzugehen, stellen wir InterSyn vor, einen groß angelegten multimodalen Datensatz, der mit unserer Methode der Selbstbewertung durch iteratives Feinabstimmung (SEIR) erstellt wurde. InterSyn enthält mehrfach verlaufende, anweisungsgetriebene Dialoge mit eng verzahnten Bild-Text-Antworten, bietet eine reiche Objektvielfalt und eine strenge automatische Qualitätsverbesserung, wodurch er sich ideal für das Training von neuergenerationsspezifischen LMMs eignet. Des Weiteren haben wir SynJudge entwickelt, ein automatisches Evaluationsmodell, das dazu dient, multimodale Ausgaben quantitativ entlang vier Dimensionen zu bewerten: Textinhalt, Bildinhalt, Bildqualität und Bild-Text-Synergie.Experimentelle Studien zeigen, dass die SEIR-Methode zu erheblich höherer Datensatzqualität führt im Vergleich zu einem sonst identischen Prozess ohne Feinabstimmung. Darüber hinaus erreichen LMMs, die auf InterSyn trainiert wurden, gleichmäßige Leistungssteigerungen in allen Evaluationsmetriken, was die Nützlichkeit von InterSyn zur Förderung multimodaler Systeme bestätigt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp