HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付きプログレッシブ補完学習による時系列行動局所化

Jia-Run Du Jia-Chang Feng Kun-Yu Lin Fa-Ting Hong Xiao-Ming Wu Zhongang Qi Ying Shan Wei-Shi Zheng

概要

弱教師付き時系列行動局所化(Weakly Supervised Temporal Action Localization: WSTAL)は、長時間の未トリム動画において、行動インスタンスの局所化と分類を、動画レベルのカテゴリラベルのみを用いて行うことを目的としている。スニペットレベルのラベル(行動の開始・終了境界を示すラベル)が存在しないため、従来の手法では未ラベルスニペットに対して擬似ラベルを割り当てるのが一般的である。しかし、異なるカテゴリに属する行動インスタンスが視覚的に類似している場合、スニペットに対して正確に「一つの行動カテゴリ」を割り当てるのは容易ではなく、誤った擬似ラベルは局所化性能を低下させる要因となる。この問題に対処するため、本研究ではカテゴリ排除の観点から着想を得た新たな手法、Progressive Complementary Learning(ProCL)を提案する。この手法は、スニペットレベルのラベル情報を段階的に強化するものである。本手法の発想は、動画レベルのラベルが、すべてのスニペットが「確実に属さないカテゴリ」を正確に示しているという事実に着目したものである。この点は、従来の研究で無視されてきた重要な情報である。そこで、まず補完学習損失(complementary learning loss)を用いて、確実に存在しないカテゴリを排除する。さらに、曖昧さが少ないスニペットに対しては、背景を意識した擬似補完ラベリングを導入し、より多くのカテゴリを除外する。そして、残存する曖昧なスニペットについては、前景行動と背景を区別することで、曖昧さを低減することを試みる。広範な実験結果から、本手法はTHUMOS14およびActivityNet1.3という2つの代表的なベンチマークにおいて、最新の最先端性能を達成することが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています