DVQA-Datensatz Zur Beantwortung Von Bildfragen

Dieser Datensatz ist ein Forschungspapier des Rochester Institute of Technology und von Adobe Research DVQA: Datenvisualisierungen durch Fragen und Antworten verstehen Der in vorgeschlagene Datensatz. Der Datensatz enthält drei Ordner: einen Bildordner, einen Frage-Antwort-Paarordner und einen Balkendiagramm-Metadatenordner.

Balkendiagramme sind eine effektive Möglichkeit, numerische Informationen zu vermitteln, aber die heutigen Algorithmen können sie nicht analysieren. Bereits bei geringfügigen Änderungen des Erscheinungsbilds versagen bestehende Methoden.Das Forschungsteam schlug DVQA vor, einen Datensatz, der viele Aspekte des Verständnisses von Balkendiagrammen in einem Frage-Antwort-Rahmen testet.. Anders als Visual Question Answering (VQA) muss DVQA Wörter und Antworten verarbeiten, die für ein bestimmtes Balkendiagramm eindeutig sind. Moderne VQA-Algorithmen schneiden bei DVQA schlecht ab und das Forschungsteam hat zwei starke Baselines vorgeschlagen, die eine bessere Leistung erzielen. Die Arbeit des Forschungsteams wird es Algorithmen ermöglichen, automatisch numerische und semantische Informationen aus einer großen Anzahl von Balkendiagrammen zu extrahieren, die in wissenschaftlichen Veröffentlichungen, Internetartikeln, Geschäftsberichten und vielen anderen Bereichen zu finden sind.

Der DVQA-Datensatz wird mit Matplotlib generiert. Der Datensatz enthält zwei Arten von Fragen: eine allgemeine Frage, die für alle Diagramme gilt, und eine spezielle Frage, die für ein bestimmtes Diagramm gültig ist.

Die Fragen decken drei Aspekte ab: a) Strukturverständnis, b) Datenabruf und c) Datenschlussfolgerung. Ein Beispiel finden Sie im Bild oben.
Der Testsatz enthält zwei Arten von Fragen, die einen Bereich von Wörtern abdecken: Test-Familiar umfasst nur Wörter aus dem Trainingssatz und Test-Novel umfasst auch neu erschienene Wörter.