TiC-DataComp は、Apple が 2024 年に公開した、視覚言語モデルのための時間継続学習（Time-Continual Learning, TiC）ベンチマークデータセットです。関連する論文成果は「TiC-CLIP: Continual Training of CLIP Models」であり、基盤モデルの継続的更新に伴う高コストな問題を解決し、大規模な時系列データを提供することで、モデルの時間的頑健性の評価と向上を目指しています。

本データセットには、2014 年から 2022 年までの期間にわたる、タイムスタンプ付きの画像-テキストペアが 127 億以上含まれており、CommonCrawl をデータソースとしています。 研究者は、本データセットを用いて大規模な画像-テキストモデルの時間継続学習手法を設計・評価したり、動的評価を通じて既存モデルの時間的頑健性を測定したり、リプレイに基づく学習戦略が計算リソースの消費を削減する有効性を検証したりすることができます。

データセットの構成

データセットは主に以下の構造で構成されており、異なる時間粒度での訓練と評価に使用されます：

• 月次訓練データ：tic-datacomp_training_monthly/.npy、各月に該当する一意な識別子（UID）のリストを含みます。
• 年次訓練データ：tic-datacomp_training_yearly_noeval/.npy、年次評価セットを除いた各年の UID のリストを含みます。
• 検索評価データ：tic-datacomp_retrieval_evals_year2uids、TiC-DataComp-Retrieval 評価タスクにおける各年の UID を含みます。
• Net 評価データ：tic-datacompnet_year2uids、TiC-DataCompNet 評価タスクにおける各年の UID を含みます。

Citation

@inproceedings{garg2024tic,
  title={TiC-CLIP: Continual Training of CLIP Models},
  author={Garg, Saurabh and Farajtabar, Mehrdad and Pouransari, Hadi and Vemulapalli, Raviteja and Mehta, Sachin and Tuzel, Oncel and Shankar, Vaishaal and Faghri, Fartash},
  booktitle={The Twelfth International Conference on Learning Representations (ICLR)},
  year={2024},
  url={https://openreview.net/forum?id=TLADT8Wrhn}
}