要約
各行動インスタンスに対して単一のフレームラベルのみを用いた状況下で、行動の時系列区間を局所化する問題に取り組む。ラベルの疎らさのため、従来の手法は行動の完全性を学習できず、断片的な行動予測に陥ってしまう。本論文では、行動の完全性を指導するための密集型擬似ラベルを生成する新しい枠組みを提案する。具体的には、まず点レベルの行動ラベルを補完するために擬似背景点を選定する。その後、これらの点をシードとして用い、シードと整合性を保ちつつ完全な行動インスタンスを含む可能性の高い最適なシーケンスを探索する。得られたシーケンスから完全性を学習するため、行動スコアおよび特徴類似性の観点から、行動インスタンスと背景を対比する2つの新しい損失関数を導入する。実験結果により、本手法の完全性指導がモデルが完全な行動インスタンスを正しく局所化するのに有効であることが示された。特に、高いIoU閾値下では顕著な性能向上が達成された。さらに、THUMOS'14、GTEA、BEOID、ActivityNetの4つのベンチマークにおいて、既存の最先端手法を上回る優位性を実証した。特に注目すべきは、本手法が最近の完全教師付き手法と同等の性能を達成しつつ、ラベル付けコストを6分の1にまで削減できることである。本研究のコードは、https://github.com/Pilhyeon にて公開されている。