要約
効果的なビデオおよび言語モデルの訓練は直感的に複数のフレームをモデル入力として必要とします。しかし、複数のフレームを使用することが下流タスクに有利かどうか、そしてその性能向上が大幅に増加する計算量とメモリコストに見合うかどうかは明確ではありません。本研究では、ビデオおよび言語学習における単一フレームモデルを探索します。多様なビデオおよび言語タスク（テキストからビデオへの検索やビデオ質問応答など）において、大規模事前学習と推論時の適切なフレームアンサンブル戦略を用いることで、時間情報を考慮しない単一フレームで訓練されたモデルが既存の複数フレームを使用した方法よりも優れた性能を達成することを示しています。この結果は、一般的なビデオおよび言語データセットに強い「静的外観バイアス」が存在することを明らかにしています。したがって、より包括的な評価を行うために、既存の細かい動作認識データセットに基づいて時間モデリングを促進する2つの新しい検索タスクを提案します。当該コードは https://github.com/jayleicn/singularity で公開されています。