MiniGPT4-Video: ビデオ理解のためのマルチモーダルLLMの進化とインターリーブされた視覚的・文章的トークンの活用

本論文では、ビデオ理解に特化した多モーダル大規模言語モデル（LLM）であるMiniGPT4-Videoを紹介します。このモデルは時間的な視覚情報とテキストデータの両方を処理でき、ビデオの複雑さを理解する能力に優れています。単一画像の視覚特徴をLLM空間に翻訳し、さまざまな画像-テキストベンチマークで優れた結果を達成したMiniGPT-v2の成功に基づいて、本論文ではモデルの機能をフレーム列の処理に拡張し、ビデオの理解を可能にしています。MiniGPT4-Videoは視覚コンテンツだけでなく、テキスト会話も取り入れており、視覚情報とテキスト情報を組み合わせた問い合わせに対して効果的に回答できます。提案されたモデルは既存の最先端手法を上回り、MSVD、MSRVTT、TGIF、TVQAベンチマークにおいてそれぞれ4.22%、1.13%、20.82%、13.1%の改善が見られました。当該モデルおよびコードは公開されており、以下のURLからアクセスできます: https://vision-cair.github.io/MiniGPT4-video/