HyperAIHyperAI

Command Palette

Search for a command to run...

潜在的なスーパーイベントを学習して動画中の複数の活動を検出する

AJ Piergiovanni; Michael S. Ryoo

概要

本論文では、活動ビデオから潜在的なスーパーイベントを学習する概念を紹介し、それが連続ビデオにおける活動検出にどのように貢献するかを説明します。スーパーイベントとは、特定の時間的構造を持つ複数のイベントが一緒に発生する集合体であり、サブイベントの対極的概念です。現実世界のビデオは複数の活動を含んでおり、ほとんどがセグメント化されていません(例:監視ビデオ)。潜在的なスーパーイベントを学習することで、モデルはビデオ内のイベントが時間的にどのように関連しているかを捉えることができます。私たちは時間構造フィルターを設計しました。これにより、モデルはビデオの特定の部分区間に焦点を当てることが可能になります。これらのフィルターとソフトアテンションメカニズムを組み合わせて、潜在的なスーパーアイベントの表現を学習します。スーパーアイベントの表現は、フレームごとのCNNやセグメントごとのCNNと組み合わせることで、フレームレベルでの注釈を提供します。私たちの手法は完全に微分可能に設計されており、潜在的なスーパーアイベント表現とそれを使用する活動検出器の両方についてエンドツーエンドで学習することが可能です。複数の公開ビデオデータセットを使用した実験結果から、提案された潜在的なスーパーアイベント学習の概念が活動検出に大きく貢献し、最先端技術を超えることが確認されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています