HyperAIHyperAI

Command Palette

Search for a command to run...

CoLA: スニペット対比学習を用いた弱教師あり時系列行動局所化

Can Zhang Meng Cao Dongming Yang Jie Chen Yuexian Zou

概要

弱教師付き時系列行動局所化(Weakly-supervised Temporal Action Localization, WS-TAL)は、動画レベルのラベルのみを用いて、トリムされていない動画内の行動を局所化することを目的としています。既存の多数のモデルは「分類による局所化」というアプローチを採用しており、動画全体の分類に最も寄与する時間領域を特定するという方針をとっています。一般的に、これらのモデルは各スニペット(またはフレーム)を個別に処理するため、豊かな時間的文脈関係を無視してしまうという問題があります。この現象が「単一スニペットの欺瞞問題(single snippet cheating issue)」を引き起こします。すなわち、「難しい(hard)」スニペットはあまりにも曖昧であるため、正確に分類することが困難になります。本論文では、比較に基づく学習がこのような難易度の高いスニペットを識別するのに有効であると主張し、スニペットの対比学習を活用して行動を局所化する手法、通称CoLA(Contrastive learning for Localizing Actions)を提案します。具体的には、特徴空間における難易度の高いスニペットの表現を精緻化するため、スニペット対比損失(Snippet Contrast, SniCo Loss)を提案します。この損失関数は、ネットワークが正確な時間的境界を捉え、時間的区間の中断を回避するように導く効果があります。さらに、フレームレベルのアノテーションは入手不可能であるため、潜在的な難易度の高いスニペットを特定するための「ハードスニペットマイニング(Hard Snippet Mining)」アルゴリズムを導入しています。詳細な分析により、このマイニング戦略が効果的に難易度の高いスニペットを捉え、SniCo Lossがより情報を豊富に含む特徴表現を生成することが確認されました。広範な実験の結果、CoLAはTHUMOS’14およびActivityNet v1.2データセットにおいて、最先端の性能を達成しました。CoLAの実装コードは、https://github.com/zhang-can/CoLA にて公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています