DataComp-12M est un ensemble de données amélioré d'images-texte publié par Apple en 2024, dont les résultats de recherche associés sont présentés dans « MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training », visant à améliorer l'efficacité et les performances d'entraînement des modèles image-texte grâce à des stratégies de renforcement multimodales.

Cet ensemble de données contient les UID de 12 millions d'échantillons du sous-ensemble DataComp-1B-BestPool et fait partie de la série de données DataCompDR. DataCompDR améliore les données DataComp d'origine en utilisant des stratégies de renforcement d'ensembles de données multimodales, en optimisant le processus d'entraînement grâce à la génération de légendes synthétiques et à l'amélioration d'images. Les expériences montrent que les modèles image-texte entraînés sur DataCompDR-12M surpassent significativement les ensembles de données de référence tels que CC-12M, YFCC-15M et DataComp-Small/Medium dans des tâches comme la classification en zero-shot, réalisant une amélioration de l'efficacité d'apprentissage de 10 à 1 000 fois. Les échantillons d'images et de texte d'origine de cet ensemble de données sont publiés par DataComp sous licence CC-BY-4.0, tandis que les métadonnées sont publiées par Apple, conformément à la licence Apple AMLR.

Composition de l'ensemble de données

Cet ensemble de données contient principalement un fichier de liste d'UID, utilisé pour identifier les échantillons de l'ensemble de données DataComp-12M. La structure spécifique est la suivante :

• uids.txt : une liste texte de 12 779 520 UID, avec un UID par ligne.
• uids.npy : un fichier tableau NumPy contenant 12 779 520 UID, avec un type de données numpy.dtype("u8,u8").

Ces UID correspondent un à un aux UID de fragments de l'ensemble de données d'origine DataComp-12M et de l'ensemble de données DataCompDR-12M, garantissant la cohérence et la traçabilité des données.

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}