Der VL3-Syn7M-Datensatz ist ein hochwertiger Bild-Text-Datensatz, der 2025 von der Alibaba DAMO Academy veröffentlicht wurde. Er soll dem hochmodernen multimodalen Basismodell VideoLLaMA3 für das Videoverständnis dabei helfen, erhebliche Fortschritte im multimodalen Verständnis zu erzielen. Die relevanten Ergebnisse der Studie sind:VideoLLaMA 3: Frontier Multimodal Foundation Models für Bild- und Videoverständnis". Der Datensatz enthält mehrdimensionale Feinanmerkungen, darunter detaillierte Bildunterschriften, kurze Bildunterschriften und Bildquelleninformationen, und deckt verschiedene Datentypen ab, z. B. Szenenbilder, Dokumentbilder und Textbilder, und bietet dem Modell umfangreiches Material zum Erlernen multimodaler Informationen. Diese qualitativ hochwertigen Daten bieten wertvolle Unterstützung für eingehende Forschungen zum semantischen Verständnis von Bildern und zur Optimierung multimodaler Interaktionssysteme und fördern die Entwicklung verwandter Branchen wie intelligenter visueller Assistenten, Tools zum Dokumentverständnis und bildgesteuerter Roboterinteraktion.

Hauptmerkmale

• Großer Datenumfang: Enthält 7 Millionen Bilder und entsprechende Anmerkungen, bietet umfangreiche Beispiele für das Modelltraining, erfüllt die Anforderungen komplexer Modelle für große Datenmengen vollständig und trägt dazu bei, die Fähigkeit des Modells zu verbessern, verschiedene visuelle Szenen und Semantiken zu verstehen.

• Die Datenquellen sind vielfältig: Szenenbilder stammen aus mehreren verschiedenen Datensätzen wie Object365 und SA-1B, was die Datenvielfalt erheblich erhöht; Szenentextbilder stammen von BLIP3-OCR; Dokumentbilder werden aus pdfa-eng-wds und idl-wds usw. ausgewählt. Die große Bandbreite an Datenquellen stellt sicher, dass die Daten reichhaltige und vielfältige visuelle Inhalte und Szenen abdecken, was die Fähigkeit des Modells verbessern kann, verschiedene Arten von Bildern zu verallgemeinern und zu verstehen.

• Hohe Annotationsqualität: Kurze Untertitel werden von InternVL2-8B generiert und ausführliche Untertitel werden von InternVL2-26B vervollständigt und enthalten eine große Menge an Klartextdaten. Hochwertige Beschriftungsanmerkungen bieten dem Modell eine genaue Anleitung zum Erlernen der Verbindung zwischen Bildern und Text, während reine Textdaten dazu beitragen, die Fähigkeit des Modells zu verbessern, Anweisungen nach Aufgaben mit visuellen und textuellen Eingaben zu verarbeiten.