M2RAG は、マルチモーダル検索シナリオにおけるマルチモーダル大規模言語モデル (MLLM) の機能を評価するためのマルチモーダル データセットです。その目的は、画像の説明、マルチモーダルな質問への回答、事実の検証、画像の再ランク付けなどのタスクで、マルチモーダル検索文書の知識を活用する MLLM の能力を評価することです。関連する論文の結果は以下の通りである。マルチモーダルコンテキストにおける検索拡張生成のベンチマーク”。

このデータセットは、画像とテキスト データを組み合わせて、ニュース イベントの分析や視覚的な質問への回答など、実際のシナリオにおける情報の検索および生成タスクをシミュレートします。これは、画像コンテンツの理解、画像とテキストの関連付けの推論、事実の判断など、マルチモーダル コンテキストで検索された文書の知識を使用する MLLM の能力を評価することに重点を置いています。