L'ensemble de données a été publié en 2024 par des chercheurs de la Northwestern Polytechnical University, de Xi'an Lianfeng Acoustic Technology Co., Ltd., de la Nanyang Technological University, de l'Université de Surrey et de l'Institut d'acoustique de l'Académie chinoise des sciences.AudioSetCaps : génération d'ensembles de données de sous-titrage audio enrichis à l'aide de grands modèles de langage audio", a été accepté par NeurIPS 24.

AudioSetCaps est un ensemble de données de sous-titres audio contenant 6 117 099 fichiers audio de 10 secondes. Chaque fichier audio est accompagné d'un titre descriptif et de 3 paires de questions-réponses comme métadonnées pour générer le titre final (un total de 18 414 789 paires de données de questions-réponses).

Il est créé à l'aide d'un pipeline de génération automatisé de grands modèles audio et linguistiques utilisant des données provenant de trois ensembles de données audio : AudioSet, YouTube-8M et VGGSound.