RxnBench は、化学反応画像の理解、マルチモーダル推論、科学的質問への回答などのタスクにおける視覚言語モデルの機能を評価するために設計された、マルチモーダル化学反応画像理解のための視覚的質問回答データセットです。

このデータセットには、有機化学反応の理解に関する多肢選択式問題が1,525問収録されており、中国語と英語で提供されています。これらの問題は、OpenAssessの高影響力ジャーナルに掲載された305件の研究図に基づいています。各図には、有機反応図の解釈に関する多肢選択式のビジュアルクイズが5問ずつ用意されており、画像の説明、反応内容の抽出、分子／構造の同定、反応機構の評価といった分野を網羅しています。