HyperAIHyperAI

Command Palette

Search for a command to run...

AM Flow: アクション認識のための時間処理用アダプター

Tanay Agrawal Abid Ali Antitza Dantcheva Francois Bremond

概要

深層学習モデル、特に画像モデルは、最近一般化能力和頑健性を向上させています。本研究では、これらの進歩をビデオ分類の領域に活用することを提案します。ビデオ基盤モデルは、広範な事前学習と長い訓練時間が必要という課題を抱えています。このような制約を緩和するために、画像モデルに対して「アテンションマップ(AM)フロー」を提案します。これは、各入力ビデオフレームにおいて運動に関連するピクセルを特定する手法です。この文脈で、カメラの動きに応じてAMフローを計算する2つの方法を提案します。AMフローは空間処理と時間処理の分離を可能にし、ビデオモデルのように空間・時間処理を組み合わせた場合よりも優れた結果を提供します。パラメータ効率的な転移学習の人気技術であるアダプターは、事前学習済みの画像モデルにAMフローを取り入れることを容易にし、完全ファインチューニングの必要性を軽減します。私たちはアダプターに時間処理ユニットを取り入れることで、「時間処理アダプター」を開発しました。本研究により、より速い収束が達成され、訓練に必要なエポック数が削減されます。さらに、画像モデルが人気のある行動認識データセットで最先端の結果を得る能力が付与されます。これにより訓練時間が短縮され、事前学習が簡素化されます。実験ではKinetics-400、Something-Something v2、およびToyota Smarthomeデータセットを使用し、最先端またはそれに匹敵する結果を示しています。以上が翻訳となります。ご確認ください。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
AM Flow: アクション認識のための時間処理用アダプター | 記事 | HyperAI超神経