تم إصدار مجموعة البيانات DataCompDR-12M بواسطة شركة آبل في عام 2024، وهي عبارة عن مجموعة بيانات للصور والنصوص تحتوي على نصوص مُصنَّعة وتضمينات صور وبيانات وصفية. النتيجة البحثية ذات الصلة متاحة عبر «MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training»، ويهدف المشروع إلى تحسين كفاءة تدريب نماذج الصور والنصوص وأدائها من خلال استراتيجيات تعزيز البيانات متعددة الوسائط.

تحتوي هذه المجموعة على معلومات وصفية لـ 12.8 مليون صورة، وقد تم إنشاؤها بناءً على جزء فرعي من مجموعة البيانات DataComp-1B، باستخدام نموذج coca_ViT-L-14 الموجود ضمن مكتبة OpenCLIP لتوليد خمسة نصوص مصطنعة لكل صورة، مع دمج تقنيات تعزيز الصور العشوائية القوية. تتضمن المجموعة تضمين الصور، وتضمين النصوص، ومعلومات التعزيز المعتمدة على المعلمة، بالإضافة إلى المعرفات الفريدة والقيم التجزئية (Hashes) الخاصة بالصور، مما يجعلها مناسبة لتدريب نماذج فعالة لمواءمة الصور مع النصوص.

تكوين مجموعة البيانات

• url.txt: روابط الصور (من نوع السلسلة النصية)
• syn.json: يحتوي على قائمة بالنصوص المُنْتَجَة (syn_text)، والتي تمثل أوصافاً بديلة مولدة بواسطة النموذج
• paug.json: يحتوي على قائمة بمعززات المعلمة (param_aug)، مسجلة تفاصيل معاملات تعزيز الصورة المحددة
• npz: يحتوي على تضمين الصور (image_emb) وتضمين النصوص (text_emb)، وكلاهما عبارة عن قوائم من الأعداد العشرية
• json: يحتوي على المعرّف الفريد للصورة (uid) وقيمة تجزئة SHA256 للصورة (sha256)

يتألف كل عينة بيانات من ثلاثي يتكون من صورة معززة عشوائياً، ونص حقيقي، ونص مُنتَخَب عشوائياً من بين النصوص المُصْنَعَة. يبلغ بعد المتجهات التمثيلية 1,536 بُعداً، ناتجاً عن ربط متجهين بأبعاد 768 من نموذجي معلم قويين.

عينة من مجموعة البيانات

الاستشهاد المرجعي

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}