DataCompDR-12M은 합성 텍스트, 이미지 임베딩 및 메타데이터를 포함한 이미지-텍스트 데이터셋으로, Apple이 2024년에 출시했습니다. 관련 논문 결과는 「MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training」이며, 다중 모달 데이터 증강 전략을 통해 이미지-텍스트 모델의 훈련 효율성과 성능을 향상시키는 것을 목표로 합니다.

해당 데이터셋에는 1,280만 장 이미지의 메타데이터가 포함되어 있으며, DataComp-1B 하위 집합 기반으로 생성되었습니다. 각 이미지에 대해 OpenCLIP 내의 coca_ViT-L-14 모델을 사용하여 5개의 합성 텍스트를 생성하고 강력한 무작위 이미지 증강 기술을 결합하였습니다. 데이터셋에는 이미지 임베딩, 텍스트 임베딩, 파라미터 증강 정보뿐만 아니라 이미지의 고유 식별자(UID)와 해시값(SHA256)도 포함되고 있어 고효율 이미지-텍스트 정렬 모델 학습에 적합합니다.

데이터셋 구성

• url.txt: 이미지 URL (문자열 유형)
• syn.json: 합성 텍스트 목록(syn_text), 모델에서 생성된 대체 설명 포함
• paug.json: 파라미터 증강 목록(param_aug), 구체적인 이미지 증강 매개변수 기록
• npz: 이미지 임베딩(image_emb)과 텍스트 임베딩(text_emb) 모두 부동 소수점 리스트로 저장됨
• json: 이미지 고유 식별자(uid) 및 이미지 SHA256 해시 값(sha256) 포함

각 샘플은 랜덤하게 증강된 이미지, 실제 텍스트 그리고 선택적으로 추출한 합성 텍스트로 구성된 삼조(triplet) 형태입니다. 임베딩 벡터는 두 개의 강건한 교사 모델로부터 얻어진 각각 768차원 벡터를 연결하여 총 1,536 차원으로 이루어져 있습니다.

인용 문헌

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}