利用大型语言模型提升视听零样本学习

视听零样本学习旨在基于配对的视听序列识别未见过的类别。近期的方法主要集中在学习与类别名称对齐的多模态特征，以增强对未见过类别的泛化能力。然而，这些方法忽略了类别名称中的模糊事件概念，并可能不可避免地引入复杂的网络结构和难以训练的目标。在本文中，我们介绍了一种简单而高效的框架，称为知识增强型视听学习（KDA），该框架通过利用外部知识库帮助模型更有效地学习新的事件内容。具体而言，我们首先提出利用大型语言模型（LLMs）中的知识生成大量描述性句子，这些句子包含事件类别的关键区分视听特征，有助于更好地理解未见过的类别。此外，我们还提出了一种知识感知自适应边界损失函数，以帮助区分相似事件，进一步提高对未见过类别的泛化能力。广泛的实验结果表明，我们提出的KDA在三个流行的视听零样本学习数据集上优于现有最先进方法。我们的代码将在以下网址提供：\url{https://github.com/chenhaoxing/KDA}。