RxnBench ist ein visueller Datensatz zur Beantwortung von Fragen und Antworten zum multimodalen Verständnis chemischer Reaktionsbilder, der die Fähigkeiten visueller Sprachmodelle bei Aufgaben wie dem Verständnis chemischer Reaktionsbilder, multimodalem Denken und der Beantwortung wissenschaftlicher Fragen bewerten soll. Dieser Datensatz enthält 1.525 Multiple-Choice-Fragen zum Verständnis organisch-chemischer Reaktionen, verfügbar auf Chinesisch und Englisch. Die Fragen basieren auf 305 Forschungsabbildungen aus renommierten OpenAssess-Zeitschriften. Jede Abbildung wird von fünf visuellen Multiple-Choice-Quizfragen zur Interpretation organischer Reaktionsdiagramme begleitet, die Bereiche wie Bildbeschreibung, Extraktion von Reaktionsinhalten, Molekül-/Strukturidentifikation und Bewertung von Reaktionsmechanismen abdecken.

Zitat

@article{li2025rxnbench, title={RxnBench: Ein multimodaler Benchmark zur Evaluierung großer Sprachmodelle zum Verständnis chemischer Reaktionen aus wissenschaftlicher Literatur}, Autor={Li, Hanzheng und Fang, Xi und Li, Yixuan und Huang, Chaozheng und Wang, Junjie und Wang, Xi und Bai, Hongzhe und Hao, Bojun und Lin, Shenyu und Liang, Huiqi und Zhang, Linfeng und Ke, Guolin} journal={arXiv preprint arXiv:2512.23565}, Jahr={2025} }