基于预训练视觉-语言模型的双向跨模态知识探索用于视频识别

视觉-语言模型（VLMs）在大规模图像-文本对上预训练后，已经在各种视觉任务中展示了出色的迁移能力。从这些强大的VLMs中迁移知识是构建有效的视频识别模型的一个有前景的方向。然而，目前在这一领域的探索仍然有限。我们认为，预训练VLMs的最大价值在于建立视觉域和文本域之间的桥梁。在本文中，我们提出了一种名为BIKE的新框架，该框架利用跨模态桥来探索双向知识：i) 我们引入了视频属性关联机制，该机制利用从视频到文本的知识生成文本辅助属性，以补充视频识别；ii) �们还提出了时间概念定位机制，该机制利用从文本到视频的专业知识以无参数的方式捕捉时间显著性，从而增强视频表示。我们在六个流行的视频数据集上进行了广泛的研究，包括Kinetics-400、Kinetics-600、UCF-101、HMDB-51、ActivityNet和Charades，结果表明我们的方法在各种识别场景下（如常规识别、零样本识别和少样本识别）均达到了最先进的性能。我们的最佳模型在具有挑战性的Kinetics-400数据集上使用发布的CLIP模型实现了88.6%的最高精度。代码可在https://github.com/whwu95/BIKE 获取。