DataCompDR-12M هو مجموعة بيانات نص-صورة تحتوي على نصوص اصطناعية، وتضمينات الصور، والبيانات الوصفية، أصدرتها Apple في عام 2024. تستند الورقة البحثية ذات الصلة إلى "MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training"، وتهدف إلى تحسين كفاءة وأداء تدريب نماذج النص-الصورة من خلال استراتيجيات تعزيز البيانات متعددة الوسائط.

تحتوي هذه المجموعة على بيانات وصفية لـ 12.8 مليون صورة، وتم توليدها بناءً على مجموعة فرعية من DataComp-1B. تستخدم نموذج coca_ViT-L-14 من OpenCLIP لتوليد 5 نصوص اصطناعية لكل صورة، مع دمج تقنيات تعزيز الصور العشوائية القوية.

تتضمن المجموعة تضمينات الصور، وتضمينات النصوص، ومعلومات تعزيز المعلمات، بالإضافة إلى معرفات فريدة للصور وقيم التجزئة (hash). وهي مناسبة لتدريب نماذج محاذاة النص-الصورة عالية الكفاءة.

تكوين مجموعة البيانات

• url.txt: عناوين URL للصور (نصية).
• syn.json: يحتوي على قائمة النصوص الاصطناعية (syn_text)، وهي أوصاف بديلة تم توليدها بواسطة النموذج.
• paug.json: يحتوي على قائمة تعزيز المعلمات (param_aug)، ويسجل المعلمات المحددة لتعزيز الصور.
• npz: يحتوي على تضمينات الصور (image_emb) وتضمينات النصوص (text_emb)، وكلاهما قوائم أعداد عائمة.
• json: يحتوي على المعرف الفريد للصورة (uid) وقيمة تجزئة SHA256 للصورة (sha256).

يتكون كل عينة بيانات من ثلاثية مكوّنة من صورة معززة عشوائياً، ونص حقيقي، ونص اصطناعي مختار عشوائياً. أبعاد متجه التضمين هي 1,536 بعداً، وتتكون من ربط متجهين بـ 768 بعداً من نموذجين معلمين قويين.

الاقتباس

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}