要約
セット監督型アクション学習の問題に取り組む。この問題の目的は、訓練動画内に出現するアクションの集合という弱教師信号を用いて、アクションセグメンテーションモデルを学習することである。本研究の核心的な観察は、同一タスクに属する動画群では、アクションの順序が類似していることである。この性質を活用することで、効果的な学習が可能となる。そこで、我々は、同一タスク内の2つの動画に共通するアクションペアについて、そのアクションに対する注目度（attention）の順序が類似することを促す新しいペアワイズ順序一貫性（Pairwise Ordering Consistency; POC）損失を用いた注目メカニズムに基づく手法を提案する。既存のシーケンスアライメント手法とは異なり、本手法は異なるアクション順序を持つ動画間でのアライメントを正確に実現でき、また、より一貫性の高い順序と低い順序を明確に分離できる。POC損失は効率的な動画アライメントを可能とし、微分可能であるため、エンドツーエンドの訓練が可能となる。さらに、従来手法で必要とされる時間のかかる擬似ラベル生成を回避する。本手法は、動画レベルおよびフレームレベルの損失と組み合わせることで、POC損失を用いて1動画あたり複数のアクションとその時間的位置を効率的に学習可能となる。これにより、従来の注目型アクション定位手法が1動画あたり1つのアクションを学習する制限を克服する。3つのデータセットを用いた実験により、本手法が既存の最先端技術を顕著に上回ることを示した。また、わずかな修正を加えることで、訓練時にアクションとその順序が与えられるトランスクリプト監督型アクション学習タスクに対しても、本手法が効果的に適用可能であることを示した。