DataCompDR-12M は、Apple が 2024 年に公開した、合成テキスト、画像埋め込み、メタデータを含む画像-テキストデータセットです。関連する論文成果は「MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training」です。このデータセットは、マルチモーダルデータ拡張戦略を通じて、画像-テキストモデルの学習効率と性能を向上させることを目的としています。

このデータセットには、1,280 万枚の画像のメタデータが含まれており、DataComp-1B のサブセットに基づいて生成されています。OpenCLIP の coca_ViT-L-14 モデルを用いて各画像に対して 5 つの合成テキストを生成し、強力なランダム画像拡張技術を組み合わせています。 データセットには、画像埋め込み、テキスト埋め込み、パラメータ拡張情報、および画像の一意な識別子とハッシュ値が含まれており、効率的な画像-テキストアライメントモデルの学習に適しています。

データセットの構成

• url.txt：画像 URL（文字列型）
• syn.json：合成テキストのリスト（syn_text）を含み、モデルによって生成された代替説明を格納
• paug.json：パラメータ拡張のリスト（param_aug）を含み、画像拡張の具体的パラメータを記録
• npz：画像埋め込み（image_emb）とテキスト埋め込み（text_emb）を含み、いずれも浮動小数点数のリスト
• json：画像の一意な識別子（uid）と画像の SHA256 ハッシュ値（sha256）を含む

各データサンプルは、ランダムに拡張された画像、実際のテキスト、およびランダムに選択された合成テキストからなる三元組で構成されています。埋め込みベクトルの次元数は 1,536 次元であり、2 つの強力な教師モデルによる 768 次元のベクトルを結合して生成されています。

引用

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}