1ヶ月前

時間注意アライメントによるビデオドメイン適応

Min-Hung Chen; Zsolt Kira; Ghassan AlRegib
時間注意アライメントによるビデオドメイン適応
要約

近年、様々な画像ベースのドメイン適応(DA)技術が提案されていますが、ビデオにおけるドメインシフトはまだ十分に研究されていません。これまでの多くの研究では、性能評価に小規模で飽和したデータセットのみを使用していました。そこで、まず大規模かつ大きなドメイン差異を持つデータセットを提案します:UCF-HMDB_full。次に、ビデオに対する異なるDA統合手法を調査し、時系列ダイナミクスを同時にアラインメントと学習することで、高度なDA手法なしでも効果的なアラインメントが達成できることを示します。最後に、Temporal Attentive Adversarial Adaptation Network(TA3N)を提案します。このネットワークは、ドメイン差異を利用して時系列ダイナミクスに明確に注目し、より効果的なドメインアラインメントを実現し、3つのビデオDAデータセットで最先端の性能を達成しています。コードとデータは http://github.com/cmhungsteve/TA3N で公開されています。