エリュシウム：MLLMを用いた動画におけるオブジェクトレベルの知覚の探索

マルチモーダル大規模言語モデル（MLLMs）は、静止画像中の物体を認識する能力を示していますが、物体追跡などの動画関連タスクへの応用についてはまだ十分に研究されていません。この未開拓の領域は主に2つの重要な課題によるものです。第一に、MLLMsが複数フレーム間での物体認識とフレーム間の関係性の理解を持つためには、大規模な動画データセットでの広範な事前学習が必要です。第二に、大規模言語モデル（LLMs）のコンテキストウィンドウ内で大量のフレームを処理することは、大きな計算負荷をもたらします。これらの課題に対処するために、私たちは3つのタスク（単一物体追跡【SOT】、参照単一物体追跡【RSOT】、および動画参照表現生成【Video-REG】）をサポートする大規模動画データセットElysiumTrack-1Mを導入します。ElysiumTrack-1Mには127万枚のアノテーション付き動画画像と対応する物体ボックスおよび説明が含まれています。このデータセットを利用してMLLMsの訓練を行い、第二の課題に対処するためにトークン圧縮モデルT-Selectorを提案します。私たちが提案するアプローチ「Elysium: 動画におけるオブジェクトレベル認識をMLLMを通じて探求」は、追加のプラグインや専門家モデルを必要とせずに、動画内のオブジェクトレベルタスクを行うことを目指したエンドツーエンドで学習可能なMLLMです。すべてのコードとデータセットはhttps://github.com/Hon-Wong/Elysiumで利用可能です。