TiC-DataComp ist ein im Jahr 2024 von Apple veröffentlichter Datensatz für einen Time-Continual Learning (TiC)-Benchmark für visuelle Sprachmodelle. Der zugehörige wissenschaftliche Beitrag ist unter „TiC-CLIP: Continual Training of CLIP Models“ zu finden. Er zielt darauf ab, die hohen Kosten für die kontinuierliche Aktualisierung von Basismodellen zu bewältigen, und stellt umfangreiche zeitreihenbezogene Daten bereit, um die zeitliche Robustheit der Modelle zu bewerten und zu verbessern.

Der Datensatz umfasst mehr als 12,7 Milliarden zeitgestempelte Bild-Text-Paare aus dem Zeitraum von 2014 bis 2022, die aus der Quelle CommonCrawl stammen. Forschende können den Datensatz nutzen, um zeitkontinuierliche Lernverfahren für große Bild-Text-Modelle zu entwickeln und zu evaluieren, die zeitliche Robustheit bestehender Modelle durch dynamische Bewertung zu messen und die Wirksamkeit von trainingsbasierten Replay-Strategien zur Reduzierung des Rechenressourcenverbrauchs zu validieren.

Zusammensetzung des Datensatzes

Der Datensatz umfasst hauptsächlich die folgenden Strukturen für Training und Bewertung auf verschiedenen zeitlichen Granularitäten:

• Monatliche Trainingsdaten: tic-datacomp_training_monthly/.npy, enthält Listen mit eindeutigen Kennungen (UIDs) für jeden Monat.
• Jährliche Trainingsdaten: tic-datacomp_training_yearly_noeval/.npy, enthält UID-Listen für jedes Jahr nach Entfernung der jährlichen Bewertungsdatensätze.
• Daten für die Retrieval-Bewertung: tic-datacomp_retrieval_evals_year2uids, enthält UIDs für jedes Jahr in den TiC-DataComp-Retrieval-Bewertungsaufgaben.
• Net-Bewertungsdaten: tic-datacompnet_year2uids, enthält UIDs für jedes Jahr in den TiC-DataCompNet-Bewertungsaufgaben.

Zitierung

@inproceedings{garg2024tic,
  title={TiC-CLIP: Continual Training of CLIP Models},
  author={Garg, Saurabh and Farajtabar, Mehrdad and Pouransari, Hadi and Vemulapalli, Raviteja and Mehta, Sachin and Tuzel, Oncel and Shankar, Vaishaal and Faghri, Fartash},
  booktitle={The Twelfth International Conference on Learning Representations (ICLR)},
  year={2024},
  url={https://openreview.net/forum?id=TLADT8Wrhn}
}