DataComp-12M هو مجموعة بيانات محسّنة للصور والنصوص أصدرتها Apple في عام 2024، وتتمثل النتائج البحثية ذات الصلة في "MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training"، وتهدف إلى تحسين كفاءة التدريب وأداء نماذج الصور والنصوص من خلال استراتيجيات تدريب معززة متعددة الوسائط.

تحتوي هذه المجموعة على معرّفات UID لعينة 12 مليون عينة من المجموعة الفرعية DataComp-1B-BestPool، وهي جزء من سلسلة بيانات DataCompDR. يستخدم DataCompDR استراتيجيات تعزيز مجموعات البيانات متعددة الوسائط لتحسين بيانات DataComp الأصلية، من خلال توليد عناوين تركيبية وتعزيز الصور لتحسين عملية التدريب. تُظهر التجارب أن نماذج الصور والنصوص المدربة على DataCompDR-12M تتفوق بشكل ملحوظ على مجموعات البيانات المرجعية مثل CC-12M وYFCC-15M وDataComp-Small/Medium في مهام مثل التصنيف بدون عينات، محققةً تحسينًا في كفاءة التعلم يتراوح بين 10 أضعاف و1,000 ضعف. تم إصدار الصور والعينات النصية الأصلية لهذه المجموعة بواسطة DataComp بموجب ترخيص CC-BY-4.0، بينما تم إصدار البيانات الوصفية بواسطة Apple بموجب ترخيص Apple AMLR.

تكوين مجموعة البيانات

تحتوي هذه المجموعة بشكل أساسي على ملف قائمة UID، يُستخدم لتحديد العينات في مجموعة بيانات DataComp-12M. الهيكل المحدد هو كما يلي:

• uids.txt: قائمة نصية تحتوي على 12,779,520 معرّف UID، مع معرّف UID واحد في كل سطر.
• uids.npy: ملف مصفوفة NumPy يحتوي على 12,779,520 معرّف UID، بنوع بيانات numpy.dtype("u8,u8").

تتوافق هذه المعرّفات UID واحدًا لواحد مع معرّفات UID المجزأة في مجموعة بيانات DataComp-12M الأصلية ومجموعة بيانات DataCompDR-12M، مما يضمن اتساق البيانات وإمكانية تتبعها.

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}