AudioSetCaps オーディオ字幕データ セット

このデータセットは、ノースウェスタン理工大学、西安連峰音響技術有限公司、南洋理工大学、サリー大学、中国科学院音響研究所の研究者らによって2024年に発表された。関連する論文の結果は次のとおりである。 」AudioSetCaps: 大規模な音声言語モデルを使用した強化された音声キャプション データセットの生成」が NeurIPS 24 に受理されました。

AudioSetCaps は、6,117,099 個の 10 秒オーディオ ファイルを含むオーディオ キャプション データセットです。各オーディオ ファイルには、最終的なタイトルを生成するためのメタデータとして、説明的なタイトルと 3 つの Q&A ペアが付いています (合計 18,414,789 ペアの Q&A データ)。

これは、AudioSet、YouTube-8M、VGGSound の 3 つのオーディオ データセットのデータを使用して、大規模なオーディオおよび言語モデルを使用した自動生成パイプラインを通じて作成されます。