HyperAIHyperAI

Command Palette

Search for a command to run...

多粒度ジェネレータによる時間的アクション提案

Yuan Liu Lin Ma Yifeng Zhang Wei Liu Shih-Fu Chang

概要

時間的アクション提案生成は重要なタスクであり、トリミングされていない動画の中で人間の行動を含む動画セグメントを局所化することを目指しています。本論文では、異なる粒度の観点から時間的アクション提案を行うため、位置埋め込み情報付きのビデオ視覚特徴を用いた多粒度ジェネレータ(MGG)を提案します。まず、ビデオシーケンス内の豊富な局所情報を活用するために、双線形マッチングモデルを使用することを提案します。その後、セグメント提案プロデューサ(SPP)とフレームアクションネスプロデューサ(FAP)という2つのコンポーネントが組み合わさって、2つの異なる粒度で時間的アクション提案タスクを行います。SPPは特徴ピラミッドの形式で全体のビデオを考え、粗い観点からセグメント提案を生成します。一方、FAPは各ビデオフレームに対してより細かいアクションネス評価を行います。我々が提案するMGGはエンドツーエンドで学習することができます。粗いセグメント提案を細かい粒度のフレームアクションネス情報で時間的に調整することで、MGGは公開されているTHUMOS-14およびActivityNet-1.3データセットにおいて最先端手法よりも優れた性能を達成しました。さらに、既存のアクション分類器を使用してMGGによって生成された提案の分類を行い、ビデオ検出タスクにおける競合手法に比べて大幅な改善が見られました。注:「frame actionness」(フレームアクションネス)という用語は一般的ではなく、「各フレームにおける行動の確実性」や「各フレームにおける行動の程度」などと解釈されることがあります。ただし、本訳では原文に忠実であるために「フレームアクションネス」と訳しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
多粒度ジェネレータによる時間的アクション提案 | 記事 | HyperAI超神経