HyperAIHyperAI

Command Palette

Search for a command to run...

弱教師付き時空間行動局所化のための背景抑制ネットワーク

Pilhyeon Lee Youngjung Uh Hyeran Byun

概要

弱教師付き時系列行動局所化(Weakly-supervised temporal action localization)は、訓練段階でフレーム単位のラベルが与えられないという点で極めて困難な問題である。この際、唯一の手がかりは動画レベルのラベル、すなわち各動画に注目する行動フレームが含まれているかどうかという情報に限られる。従来の手法は、フレームレベルのクラススコアを統合して動画レベルの予測を生成し、その動画レベルの行動ラベルから学習を行う。しかし、このアプローチは問題の本質を十分に捉えていない。なぜなら、背景フレームが正確に行動クラスと分類されないよう強制されるため、動画レベルのラベルを正確に予測するためには、背景フレームも行動クラスと誤分類せざるを得ないという課題がある。本論文では、背景クラスを追加する補助クラスを導入し、非対称な訓練戦略を採用した二本のブランチを共有するアーキテクチャを持つ「Background Suppression Network(BaS-Net)」を提案する。この設計により、背景フレームからの活性化を抑制することが可能となり、行動局所化の性能が向上する。広範な実験により、BaS-Netの有効性が確認され、THUMOS'14およびActivityNetという最も代表的なベンチマークにおいて、最先端手法を上回る性能を示した。本研究のコードおよび学習済みモデルは、https://github.com/Pilhyeon/BaSNet-pytorch にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています