DataCompDR-12M est un ensemble de données image-texte publié par Apple en 2024, contenant des textes synthétiques, des embeddings d'images et des métadonnées. Les résultats de la publication associée sont présentés dans MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training, et l'objectif est d'améliorer l'efficacité et les performances de l'entraînement des modèles image-texte grâce à une stratégie d'augmentation des données multimodales.

Cet ensemble de données contient les métadonnées de 12,8 millions d'images, générées à partir d'un sous-ensemble de DataComp-1B. En utilisant le modèle coca_ViT-L-14 d'OpenCLIP, 5 textes synthétiques sont générés pour chaque image, combinés avec des techniques d'augmentation d'images aléatoires et robustes. L'ensemble de données inclut les embeddings d'images, les embeddings de textes, les informations d'augmentation paramétrée, ainsi que les identifiants uniques et les empreintes de hachage des images, ce qui le rend adapté à l'entraînement de modèles d'alignement image-texte efficaces.

Composition de l'ensemble de données

• url.txt : URL de l'image (type chaîne de caractères)
• syn.json : contient la liste des textes synthétiques (syn_text), descriptions alternatives générées par le modèle
• paug.json : contient la liste des augmentations paramétrées (param_aug), enregistrant les paramètres spécifiques de l'augmentation d'images
• npz : contient les embeddings d'images (image_emb) et les embeddings de textes (text_emb), tous deux sous forme de listes de nombres flottants
• json : contient l'identifiant unique de l'image (uid) et la valeur de hachage SHA256 de l'image (sha256)

Chaque échantillon de données est composé d'un triplet constitué d'une image augmentée aléatoirement, d'un texte réel et d'un texte synthétique sélectionné aléatoirement. Les vecteurs d'embedding sont de dimension 1 536, formés par la concaténation de vecteurs de dimension 768 provenant de deux modèles enseignants robustes.

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}