OmniVideo-100K est un jeu de données d'inférence audio et vidéo destiné à l'optimisation des instructions dans les grands modèles de langage multimodaux. Il a été publié en juin 2026 par l'Université de Nanjing en collaboration avec l'Institut d'automatisation de l'Académie chinoise des sciences. Parmi les articles de recherche associés, on peut citer… OmniVideo-100K : un ensemble de données pour le raisonnement audio-visuel à travers des scripts structurés et des chaînes de preuvesIl vise à améliorer les capacités de collaboration des modèles dans les séries temporelles à long terme et les dépendances intermodales, et est largement utilisé pour entraîner et évaluer les capacités des grands modèles multimodaux dans la compréhension vidéo et les tâches de raisonnement complexes. Cet ensemble de données contient 100 000 paires question-réponse issues de 5 214 vidéos YouTube, réparties en 70 000 questions ouvertes et 30 000 questions à choix multiple selon le format de la tâche. Il couvre 10 types de tâches de questions-réponses audio et vidéo et est divisé en trois niveaux cognitifs : alignement, compréhension et raisonnement.

Citation

@article{cai2026omnivideo100k,
title={OmniVideo-100K: A Dataset for Audio-Visual Reasoning through Structured Scripts and Evidence Chains},
author={Cai, Xinyue and Fu, Chaoyou and Zhang, Yi-Fan and He, Ran and Shan, Caifeng},
journal={arXiv preprint arXiv:2606.14702},
year={2026}
}