MRR-Benchmark マルチモーダル読み取りベンチマーク データセット

マルチモーダル リーディング (MMR) ベンチマークは、テキスト、フォント、視覚要素、境界ボックス、空間関係、グラウンディングを含む 11 の異なるタスクにおける 550 の注釈付きの質問と回答のペアで構成されており、慎重に設計された評価指標が使用されます。

このベンチマークは、ニューヨーク州立大学バッファロー校と Adobe Research の研究者によって 2024 年にリリースされ、関連する論文の結果は次のとおりです。MMR: 大規模なマルチモーダル モデルの読み取り能力の評価”。