時間的サイクル一貫性学習

ビデオ間の時間的整合性をタスクとして用いた自己監督表現学習手法について紹介します。この手法は、複数のビデオ間で時間的な対応関係を見つけるために使用できる微分可能なサイクル整合性損失である時間的サイクル整合性（Temporal Cycle Consistency: TCC）を用いてネットワークを訓練します。学習された埋め込み空間における最近傍点を使用して単純にフレームをマッチングすることで、ビデオをアラインメントすることが可能です。埋め込みの性能を評価するために、Pouring および Penn Action ビデオデータセットに対してアクションフェーズの密集ラベル付けを行いました。結果として、(i) 学習された埋め込みにより、これらのアクションフェーズの少ショット分類が可能となり、教師あり学習の要件が大幅に削減されました；(ii) TCC は、Shuffle and Learn や Time-Contrastive Networks などの他のビデオでの自己監督学習手法と補完的であることが示されました。また、これらの埋め込みは、ビデオペア間のアラインメント（密集な時間的対応）に基づくさまざまなアプリケーションにも使用されています。これには、同期したモダリティ間のメタデータ転送（音声、時間的な意味ラベル）、複数ビデオの同期再生、異常検出などが含まれます。プロジェクトウェブページ: https://sites.google.com/view/temporal-cycle-consistency