弱教師付きプログレッシブ補完学習による時系列行動局所化

弱教師付き時系列行動局所化（Weakly Supervised Temporal Action Localization: WSTAL）は、長時間の未トリム動画において、行動インスタンスの局所化と分類を、動画レベルのカテゴリラベルのみを用いて行うことを目的としている。スニペットレベルのラベル（行動の開始・終了境界を示すラベル）が存在しないため、従来の手法では未ラベルスニペットに対して擬似ラベルを割り当てるのが一般的である。しかし、異なるカテゴリに属する行動インスタンスが視覚的に類似している場合、スニペットに対して正確に「一つの行動カテゴリ」を割り当てるのは容易ではなく、誤った擬似ラベルは局所化性能を低下させる要因となる。この問題に対処するため、本研究ではカテゴリ排除の観点から着想を得た新たな手法、Progressive Complementary Learning（ProCL）を提案する。この手法は、スニペットレベルのラベル情報を段階的に強化するものである。本手法の発想は、動画レベルのラベルが、すべてのスニペットが「確実に属さないカテゴリ」を正確に示しているという事実に着目したものである。この点は、従来の研究で無視されてきた重要な情報である。そこで、まず補完学習損失（complementary learning loss）を用いて、確実に存在しないカテゴリを排除する。さらに、曖昧さが少ないスニペットに対しては、背景を意識した擬似補完ラベリングを導入し、より多くのカテゴリを除外する。そして、残存する曖昧なスニペットについては、前景行動と背景を区別することで、曖昧さを低減することを試みる。広範な実験結果から、本手法はTHUMOS14およびActivityNet1.3という2つの代表的なベンチマークにおいて、最新の最先端性能を達成することが示された。