DataComp-12M ist ein von Apple im Jahr 2024 veröffentlichtes verbessertes Bild-Text-Datenset, dessen zugehörige Forschungsergebnisse in der Arbeit „MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training" dokumentiert sind. Ziel ist es, durch multimodale verstärkte Trainingsstrategien die Trainingseffizienz und -leistung von Bild-Text-Modellen zu verbessern.

Das Datenset enthält die UIDs von 12 Millionen Stichproben aus dem DataComp-1B-BestPool-Subset und ist Teil der DataCompDR-Serie von Daten. DataCompDR nutzt multimodale Datensatz-Verstärkungsstrategien, um die ursprünglichen DataComp-Daten zu erweitern, indem synthetische Bildunterschriften und Bildverbesserungen generiert werden, um den Trainingsprozess zu optimieren. Experimente zeigen, dass Bild-Text-Modelle, die auf DataCompDR-12M trainiert wurden, bei Aufgaben wie Zero-Shot-Klassifikation deutlich besser abschneiden als Basisdatensätze wie CC-12M, YFCC-15M und DataComp-Small/Medium und eine 10- bis 1.000-fache Steigerung der Lerneffizienz erreichen. Die ursprünglichen Bild- und Textstichproben dieses Datensatzes wurden von DataComp unter der CC-BY-4.0-Lizenz veröffentlicht, während die Metadaten von Apple unter der Apple AMLR-Lizenz veröffentlicht wurden.

Datensatzzusammensetzung

Dieses Datenset enthält hauptsächlich eine UID-Listendatei zur Identifizierung der Stichproben im DataComp-12M-Datenset. Die spezifische Struktur ist wie folgt:

• uids.txt: Eine Textliste mit 12.779.520 UIDs, eine UID pro Zeile.
• uids.npy: Eine NumPy-Array-Datei mit 12.779.520 UIDs, Datentyp: numpy.dtype("u8,u8").

Diese UIDs entsprechen eins zu eins den Shard-UIDs im ursprünglichen DataComp-12M-Datenset und im DataCompDR-12M-Datenset, was die Konsistenz und Rückverfolgbarkeit der Daten gewährleistet.

Zitierung

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}