敵対的バイパートイトグラフ学習による動画ドメイン適応

ドメイン適応技術は、分布的に異なるドメイン間でモデルを適応させるものであるが、教師データ（ソースドメイン）とテストデータ（ターゲットドメイン）間に顕著な空間的・時間的シフトが生じるため、動画認識分野ではその研究がほとんど進んでいない。近年の視覚的ドメイン適応手法は、敵対学習を用いてソースとターゲットの動画表現を統一し、特徴の転移性を強化しようとしているが、動画データに対してはそれほど効果的ではない。この制約を克服するために、本論文ではドメイン不変表現の学習に代えて、ドメインに依存しない動画分類器を学習することを提案し、二部グラフ（bipartite graph）構造を用いた敵対的二部グラフ（Adversarial Bipartite Graph: ABG）学習フレームワークを導入する。具体的には、ソースフレームとターゲットフレームを異種ノード（heterogeneous vertices）としてサンプリングし、異なる種類のノードを結ぶエッジがそれらの類似性（アフィニティ）を測定する。メッセージパッシングにより、各ノードは異種の近隣ノードからの特徴を集約し、同じクラスに属する特徴が均等に混合されるように強制する。このように、訓練段階およびテスト段階で分類器がクロスドメイン表現に直接さらされる設計により、モデルはラベル付きソースデータに偏りにくくなり、結果としてターゲットドメインにおけるより優れた汎化性能を達成する。さらに、困難な転移タスクにおけるモデルの表現力と堅牢性を検証するため、追加のビデオレベル二部グラフを用いて半教師あり設定でも本モデルを拡張する。4つのベンチマーク上で実施された広範な実験により、提案手法が従来の最先端（SOTA）手法を上回る有効性が実証された。