TalkNCE：通过对话感知的对比学习改进主动说话人检测

本研究的目标是主动说话者检测（Active Speaker Detection, ASD），即在一系列视频帧中判断某个人是否正在说话。以往的研究主要通过探索网络架构来解决这一任务，而对有效表示的学习则较少涉及。在本工作中，我们提出了一种新的以说话为中心的对比损失函数——TalkNCE。该损失函数仅应用于屏幕上的人员实际说话的部分片段，这促使模型通过语音和面部运动之间的自然对应关系学习有效的表示。我们的损失函数可以与现有的ASD模型训练目标联合优化，无需额外的监督或训练数据。实验结果表明，我们的损失函数可以轻松集成到现有的ASD框架中，提升其性能。我们的方法在AVA-ActiveSpeaker和ASW数据集上达到了最先进的表现。