Dieser Datensatz wurde 2024 von einem Forschungsteam von Google Research und der Johns Hopkins University veröffentlicht. Die relevanten Ergebnisse des Papiers sind:SPIQA: Ein Datensatz zur multimodalen Beantwortung von Fragen zu wissenschaftlichen Arbeiten".

Hintergrund

Das Finden von Antworten auf Fragen in langen wissenschaftlichen Forschungsartikeln ist ein wichtiger Forschungsbereich, der den Lesern hilft, ihre Anfragen schnell zu klären. Allerdings sind vorhandene Frage-Antwort-Datensätze (QA) auf der Grundlage wissenschaftlicher Arbeiten in ihrem Umfang begrenzt und konzentrieren sich nur auf Textinhalte. Um diese Einschränkung zu beheben, hat das Forschungsteam SPIQA (Scientific Paper Image Question Answering) eingeführt.

Datensatzübersicht

Dies ist der erste groß angelegte QA-Datensatz, der speziell für die Interpretation komplexer Abbildungen und Tabellen in wissenschaftlichen Forschungsartikeln in verschiedenen Bereichen der Informatik entwickelt wurde. Nutzen Sie das Fachwissen und die Graphenverständnisfunktionen von Multimodal Large Language Models (MLLMs). Das Forschungsteam entwickelte eine Informationssuchaufgabe mit mehreren Bildern, die eine Vielzahl von Diagrammen, Tabellen, Schaubildern und Ergebnisvisualisierungen umfassten, und verwendete sowohl automatische als auch manuelle Kuratierung zur Erstellung des Datensatzes. SPIQA enthält 270.000 Fragen, die in Trainings-, Validierungs- und drei verschiedene Bewertungsteile unterteilt sind. Durch die Durchführung umfangreicher Experimente mit 12 bekannten Basismodellen bewertete das Team die Fähigkeit aktueller multimodaler Systeme, subtile Aspekte von Forschungsartikeln zu verstehen.