多モーダル言語モデルを用いた長時間ビデオの理解

大規模言語モデル（LLM）の利用により、最近のLLMベースの手法は長尺ビデオ理解ベンチマークにおいて優れた性能を達成しています。本研究では、基礎となるLLMの広範な世界知識と強力な推論能力がこの高性能にどのように影響を与えるかを調査しました。驚くことに、限られたビデオ情報、時にはビデオ固有の情報が全くない場合でも、LLMベースの手法が長尺ビデオタスクで非常に高い精度を示すことがわかりました。この結果に基づいて、ビデオ固有の情報をLLMベースのフレームワークに注入する方法を探りました。既存のビジョンツールを利用して、ビデオから3つの物体中心的な情報モダリティを抽出し、自然言語を媒体としてこれらの情報を融合させました。我々が開発したマルチモーダルビデオ理解（MVU）フレームワークは、複数のビデオ理解ベンチマークで最先端の性能を示しており、ロボティクス分野でのタスクでも優れた性能を発揮することからその汎用性の高さが確認されています。コード: https://github.com/kahnchana/mvu