DataComp-12M 데이터셋은 Apple이 2024년에 공개한 강화형 이미지-텍스트 데이터셋으로, 관련 논문 성과는「MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training」이며, 다중 모달 강화 훈련 전략을 통해 이미지-텍스트 모델의 훈련 효율성과 성능을 향상시키는 것을 목표로 합니다.

이 데이터셋은 DataComp-1B-BestPool 하위 집합에 포함된 12M 개 샘플의 UID를 포함하며, DataCompDR 시리즈 데이터의 일부입니다. DataCompDR은 다중 모달 데이터셋 강화 전략을 사용하여 원본 DataComp 데이터를 강화하고, 합성 캡션 및 이미지 강화를 생성하여 훈련 과정을 최적화합니다. 실험에 따르면 DataCompDR-12M에서 훈련된 이미지-텍스트 모델은 제로샷 분류와 같은 작업에서 CC-12M, YFCC-15M 및 DataComp-Small/Medium과 같은 기준 데이터셋보다 크게 우수하여 10배에서 1,000배의 학습 효율성 향상을 달성했습니다. 이 데이터셋의 원본 이미지 및 텍스트 샘플은 DataComp가 CC-BY-4.0 라이선스로 공개했으며, 메타데이터는 Apple이 Apple AMLR 라이선스에 따라 공개했습니다.

데이터셋 구성

이 데이터셋은 주로 UID 목록 파일을 포함하며, DataComp-12M 데이터셋의 샘플을 식별하는 데 사용됩니다. 구체적인 구조는 다음과 같습니다:

• uids.txt: 12,779,520개의 UID가 포함된 텍스트 목록으로, 각 줄에 하나의 UID가 있습니다.
• uids.npy: 12,779,520개의 UID가 포함된 NumPy 배열 파일로, 데이터 타입은 numpy.dtype("u8,u8")입니다.

이 UID는 DataComp-12M 원본 데이터셋 및 DataCompDR-12M 데이터셋의 샤드 UID와 일대일로 대응하여 데이터의 일관성과 추적 가능성을 보장합니다.

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}