DataCompDR-12M ist ein am 2024 von Apple veröffentlichtes Bild-Text-Datenset, das synthetischen Text, Bild-Einbettungen und Metadaten umfasst. Das zugehörige wissenschaftliche Ergebnis ist „MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training“ und zielt darauf ab, die Trainingseffizienz und Leistung von Bild-Text-Modellen durch multimodale Datenverstärkungsstrategien zu verbessern.

Das Datenset enthält Metadaten zu 12,8 Millionen Bildern, die auf einer Teilmenge von DataComp-1B basieren. Unter Verwendung des coca_ViT-L-14-Modells aus OpenCLIP werden für jedes Bild fünf synthetische Texte generiert, kombiniert mit starken zufälligen Bildverstärkungstechniken. Das Datenset enthält Bild-Einbettungen, Text-Einbettungen, Informationen zur Parameterverstärkung sowie eindeutige Identifikatoren und Hashwerte der Bilder und eignet sich zum Training effizienter Bild-Text-Alignierungsmodelle.

Zusammensetzung des Datensets

• url.txt: Bild-URL (Zeichentyp)
• syn.json: Enthält Listen synthetischer Texte (syn_text), die vom Modell generierten alternativen Beschreibungen
• paug.json: Enthält Listen der Parameterverstärkung (param_aug), die die spezifischen Parameter der Bildverstärkung aufzeichnen
• npz: Enthält Bild-Einbettungen (image_emb) und Text-Einbettungen (text_emb), beide als Listen von Fließkommazahlen
• json: Enthält den eindeutigen Identifikator des Bildes (uid) und den SHA256-Hashwert des Bildes (sha256)

Jede Datenprobe besteht aus einem Triplett aus zufällig verstärktem Bild, echtem Text und einem zufällig ausgewählten synthetischen Text. Die Einbettungsvektoren haben eine Dimension von 1.536 und werden durch das Aneinanderfügen zweier 768-dimensionaler Vektoren von zwei starken Lehrermodellen gebildet.

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}