HyperAIHyperAI

Command Palette

Search for a command to run...

时间注意力对齐在大规模视频领域适应中的应用

Min-Hung Chen Zsolt Kira Ghassan AlRegib Jaekwon Yoo Ruxin Chen Jian Zheng

摘要

尽管近年来提出了多种基于图像的域适应(Domain Adaptation, DA)技术,视频中的域偏移问题仍未得到充分研究。大多数先前的工作仅在规模较小且已饱和的数据集上评估性能。因此,我们首先提出了两个具有更大域差异的大规模视频DA数据集:UCF-HMDB_full和Kinetics-Gameplay。其次,我们探讨了不同的视频DA集成方法,并展示了同时对齐和学习时间动态可以实现有效的对齐,即使没有复杂的DA方法也是如此。最后,我们提出了一种时间注意力对抗适应网络(Temporal Attentive Adversarial Adaptation Network, TA3N),该网络通过显式关注时间动态并利用域差异来实现更有效的域对齐,在四个视频DA数据集上取得了最先进的性能(例如,在“HMDB → UCF”数据集上,“仅源模型”的准确率从73.9%提升至81.8%,提高了7.9%;在“Kinetics → Gameplay”数据集上提高了10.3%)。代码和数据已发布在http://github.com/cmhungsteve/TA3N


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供