コスモス-2：世界に根ざした多モーダル大規模言語モデル

私たちは、新たな機能を有するマルチモーダル大規模言語モデル（Multimodal Large Language Model: MLLM）であるKosmos-2を紹介します。このモデルは、物体の説明（例：バウンディングボックス）の認識とテキストを視覚的世界に接地させる能力を可能にします。具体的には、参照表現をMarkdownのリンクとして表現し、つまり[テキスト範囲](バウンディングボックス)のように、物体の説明は位置トークンの系列として表されます。マルチモーダルコーパスとともに、私たちは大規模な接地された画像-テキストペアデータ（GrITと呼ばれる）を作成してモデルを訓練します。既存のMLLMが持つ一般的なモダリティの認識、指示に従うこと、コンテキスト内学習などの機能に加えて、Kosmos-2はダウンストリームアプリケーションに接地能力を統合しています。私たちはKosmos-2を多様なタスクで評価しました。これらのタスクには(i) マルチモーダル接地（参照表現理解やフレーズ接地）、(ii) マルチモーダル参照（参照表現生成）、(iii) 認知-言語タスク、および(iv) 言語理解と生成が含まれます。本研究はエンボディメントAIの開発基盤を整え、言語、マルチモーダル認知、行動、世界モデリングの大収束への道筋をつけます。これは人工一般知能への重要な一歩です。コードと事前学習済みモデルはhttps://aka.ms/kosmos-2 から入手可能です。