時系列対応のためのジョイントタスク自己教師学習

本稿では、自己教師ありのアプローチにより動画から信頼性の高い密な対応関係を学習することを提案する。我々の学習プロセスは、大規模な画像領域の追跡と、連続する動画フレーム間における細粒度なピクセルレベルの関連付けという、互いに密接に関連する2つのタスクを統合している。これらのタスク間の相乗効果を、フレーム間の類似性行列（inter-frame affinity matrix）を共有することで実現し、領域レベルおよびピクセルレベルの両方でフレーム間の遷移を同時にモデル化している。領域レベルの局所化は、探索領域を狭めることで細粒度なマッチングにおける曖昧さを低減するのに対し、細粒度なマッチングは領域レベルの局所化を促進するための下位から上位への特徴を提供する。本手法は、動画オブジェクトおよびパーツセグメンテーションの伝搬、キーポイント追跡、オブジェクト追跡など、多様な視覚的対応タスクにおいて、最先端の自己教師あり手法を上回る性能を達成した。さらに、ImageNetで事前学習されたResNet-18から得られる完全教師ありの類似性特徴表現をも凌駕する結果を示した。