时间注意力对齐在大规模视频领域适应中的应用

尽管近年来提出了多种基于图像的域适应（Domain Adaptation, DA）技术，视频中的域偏移问题仍未得到充分研究。大多数先前的工作仅在规模较小且已饱和的数据集上评估性能。因此，我们首先提出了两个具有更大域差异的大规模视频DA数据集：UCF-HMDB_full和Kinetics-Gameplay。其次，我们探讨了不同的视频DA集成方法，并展示了同时对齐和学习时间动态可以实现有效的对齐，即使没有复杂的DA方法也是如此。最后，我们提出了一种时间注意力对抗适应网络（Temporal Attentive Adversarial Adaptation Network, TA3N），该网络通过显式关注时间动态并利用域差异来实现更有效的域对齐，在四个视频DA数据集上取得了最先进的性能（例如，在“HMDB → UCF”数据集上，“仅源模型”的准确率从73.9%提升至81.8%，提高了7.9%；在“Kinetics → Gameplay”数据集上提高了10.3%）。代码和数据已发布在http://github.com/cmhungsteve/TA3N。