マルチモーダル リーディング (MMR) ベンチマークは、テキスト、フォント、視覚要素、境界ボックス、空間関係、グラウンディングを含む 11 の異なるタスクにおける 550 の注釈付きの質問と回答のペアで構成されており、慎重に設計された評価指標が使用されます。 このベンチマークは、ニューヨーク州立大学バッファロー校と Adobe Research の研究者によって 2024 年にリリースされ、関連する論文の結果は次のとおりです。MMR: 大規模なマルチモーダル モデルの読み取り能力の評価”。

引用

@inproceedings{mmr2024chen, タイトル={大規模マルチモーダルモデルの読解能力の評価}、 author={Chen、Jian と Zhang、Ruiyi と Zhou、Yufan と Gu、Jixiang と Rossi、Ryan と Chen、Changyou} 書籍タイトル={Arxiv}、 年={2024} }