基于掩码预训练与协同自训练的无监督视频域适应

在本研究中，我们针对视频动作识别任务中的无监督域自适应（Unsupervised Domain Adaptation, UDA）问题提出了一种新方法，命名为UNITE。该方法利用一个图像域教师模型，指导视频域学生模型向目标域进行适应。UNITE首先通过自监督预训练，借助教师引导的掩码蒸馏目标函数，在目标域视频上促进更具判别性的特征学习。随后，我们对掩码后的目标域数据进行自训练，结合视频学生模型与图像教师模型，共同生成更高质量的伪标签，用于未标注的目标域视频。该自训练过程有效融合了两个模型的优势，实现了跨域之间出色的迁移性能。我们在多个视频域自适应基准数据集上对所提方法进行了评估，结果表明，相较于以往报道的成果，本方法取得了显著的性能提升。