DataComp-12Mデータセットは、Appleが2024年に公開した拡張型画像-テキストデータセットであり、関連する論文成果は「MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training」です。多モーダル強化トレーニング戦略を通じて、画像-テキストモデルのトレーニング効率と性能を向上させることを目的としています。

このデータセットには、DataComp-1B-BestPoolサブセット内の12MサンプルのUIDが含まれており、DataCompDRシリーズデータの一部です。 DataCompDRは、多モーダルデータセット強化戦略を用いて元のDataCompデータを強化し、合成キャプションと画像拡張を生成することでトレーニングプロセスを最適化します。 実験によると、DataCompDR-12Mでトレーニングされた画像-テキストモデルは、ゼロショット分類などのタスクにおいてCC-12M、YFCC-15M、DataComp-Small/Mediumなどのベンチマークデータセットを大幅に上回り、10倍から1,000倍の学習効率の向上を実現しました。 このデータセットの元の画像とテキストサンプルはDataCompによってCC-BY-4.0ライセンスで公開され、メタデータはAppleによって公開され、Apple AMLRライセンスに従います。

データセット構成

このデータセットには主にUIDリストファイルが含まれており、DataComp-12Mデータセット内のサンプルを識別します。具体的な構造は以下の通りです：

• uids.txt：12,779,520個のUIDを含むテキストリストで、各行に1つのUIDが含まれます。
• uids.npy：12,779,520個のUIDを含むNumPy配列ファイルで、データ型はnumpy.dtype("u8,u8")です。

これらのUIDは、DataComp-12M元データセットおよびDataCompDR-12Mデータセット内のシャードUIDと一対一で対応し、データの一貫性とトレーサビリティを保証します。

Citation

@InProceedings{mobileclip2024,
  author = {Pavan Kumar Anasosalu Vasu, Hadi Pouransari, Fartash Faghri, Raviteja Vemulapalli, Oncel Tuzel},
  title = {MobileCLIP: Fast Image-Text Models through Multi-Modal Reinforced Training},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2024},
}