HyperAIHyperAI

Command Palette

Search for a command to run...

Grundlegung mehrsprachiger multimodaler LLMs mit kulturellem Wissen

Jean de Dieu Nyandwi Yueqi Song Simran Khanuja Graham Neubig

Zusammenfassung

Multimodale große Sprachmodelle (MLLMs) erzielen in ressourcenintensiven Umgebungen herausragende Leistungen, interpretieren jedoch oft kulturelle Entitäten aus dem langen Schwanz falsch und zeigen unterdurchschnittliche Performance in sprachlich benachteiligten Regionen. Um diese Lücke zu schließen, schlagen wir einen datenzentrierten Ansatz vor, der MLLMs direkt in kulturelles Wissen einbettet. Ausnutzend eines umfangreichen Wissensgraphen aus Wikidata sammeln wir Bilder, die kulturell bedeutende Entitäten repräsentieren, und generieren synthetische, mehrsprachige visuelle Frage-Antwort-Daten. Das resultierende Datenset, CulturalGround, umfasst 22 Millionen hochwertige, kulturreiche VQA-Paare, die sich über 42 Länder und 39 Sprachen erstrecken. Wir trainieren ein Open-Source-MLLM namens CulturalPangea auf Basis von CulturalGround und mischen dabei standardmäßige, mehrsprachige Anweisungstuning-Daten ein, um allgemeine Fähigkeiten zu bewahren. CulturalPangea erreicht auf verschiedenen kulturorientierten, mehrsprachigen multimodalen Benchmarks die bisher beste Leistung unter offenen Modellen und übertrifft vorherige Modelle im Durchschnitt um 5,0 Prozent, ohne die Ergebnisse auf gängigen visuell-sprachlichen Aufgaben zu verschlechtern. Unsere Ergebnisse zeigen, dass unser gezielter, kulturell fundierter Ansatz die kulturelle Kluft in MLLMs erheblich verkleinern und einen praktikablen Weg hin zu global inklusiven multimodalen Systemen eröffnen könnte.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp