2 个月前

对比与混合:基于背景混合的时序对比视频领域适应

Aadarsh Sahoo; Rutav Shah; Rameswar Panda; Kate Saenko; Abir Das
对比与混合:基于背景混合的时序对比视频领域适应
摘要

无监督域适应旨在将训练有标签源域的模型迁移到完全无标签的目标域,近年来受到了广泛关注。尽管已经提出了许多针对图像的域适应技术,但视频中的无监督域适应问题仍然鲜有研究。本文介绍了一种新的对比学习框架——对比与混合(CoMix),该框架旨在为无监督视频域适应学习判别性的不变特征表示。首先,与现有依赖对抗学习进行特征对齐的方法不同,我们利用时间对比学习通过最大化同一未标记视频在两种不同速度下的编码表示之间的相似度以及最小化不同视频在不同速度下播放时的相似度来弥合域差距。其次,我们提出了一种时间对比损失的新扩展方法,即背景混合,这允许每个锚点有更多的正样本,从而将对比学习应用于利用两个域之间共享的动作语义。此外,我们还集成了使用目标伪标签的监督对比学习目标,以增强潜在空间在视频域适应中的判别能力。我们在多个基准数据集上进行了广泛的实验,结果表明所提出的CoMix方法优于现有的最先进方法。项目页面:https://cvir.github.io/projects/comix