HyperAIHyperAI

Command Palette

Search for a command to run...

単一フレームバイアスの解明:ビデオと言語学習への影響

Jie Lei Tamara L. Berg Mohit Bansal

概要

効果的なビデオおよび言語モデルの訓練は直感的に複数のフレームをモデル入力として必要とします。しかし、複数のフレームを使用することが下流タスクに有利かどうか、そしてその性能向上が大幅に増加する計算量とメモリコストに見合うかどうかは明確ではありません。本研究では、ビデオおよび言語学習における単一フレームモデルを探索します。多様なビデオおよび言語タスク(テキストからビデオへの検索やビデオ質問応答など)において、大規模事前学習と推論時の適切なフレームアンサンブル戦略を用いることで、時間情報を考慮しない単一フレームで訓練されたモデルが既存の複数フレームを使用した方法よりも優れた性能を達成することを示しています。この結果は、一般的なビデオおよび言語データセットに強い「静的外観バイアス」が存在することを明らかにしています。したがって、より包括的な評価を行うために、既存の細かい動作認識データセットに基づいて時間モデリングを促進する2つの新しい検索タスクを提案します。当該コードは https://github.com/jayleicn/singularity で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています