HyperAIHyperAI

Command Palette

Search for a command to run...

CLEVR-X: Ein visuelles Schlussfolgerungs-Datensatz für natürlichsprachliche Erklärungen

Leonard Salewski A. Sophia Koepke Hendrik P. A. Lensch Zeynep Akata

Zusammenfassung

Die Bereitstellung von Erklärungen im Kontext des Visual Question Answering (VQA) stellt ein grundlegendes Problem im Bereich des maschinellen Lernens dar. Um detaillierte Einblicke in den Prozess der Generierung natürlicher Spracherklärungen für VQA zu gewinnen, stellen wir die großskalige CLEVR-X-Datenbank vor, die die CLEVR-Datenbank durch natürliche Spracherklärungen erweitert. Für jedes Bild-Frage-Paar in der CLEVR-Datenbank enthält CLEVR-X mehrere strukturierte textuelle Erklärungen, die aus den ursprünglichen Szenengraphen abgeleitet wurden. Aufgrund ihrer Konstruktion sind die CLEVR-X-Erklärungen korrekt und beschreiben die notwendigen Schlussfolgerungen sowie visuellen Informationen, um eine gegebene Frage zu beantworten. Wir führten eine Benutzerstudie durch, um zu bestätigen, dass die Ground-Truth-Erklärungen in unserer vorgeschlagenen Datenbank tatsächlich vollständig und relevant sind. Wir präsentieren Baseline-Ergebnisse zur Generierung natürlicher Spracherklärungen im Kontext von VQA mithilfe zweier state-of-the-art-Frameworks auf der CLEVR-X-Datenbank. Zudem geben wir eine detaillierte Analyse der Qualität der Erklärungsgenerierung für verschiedene Frage- und Antworttypen. Darüber hinaus untersuchen wir den Einfluss verschiedener Anzahlen von Ground-Truth-Erklärungen auf die Konvergenz von Metriken zur natürlichen Sprachgenerierung (NLG). Die CLEVR-X-Datenbank ist öffentlich unter \url{https://explainableml.github.io/CLEVR-X/} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
CLEVR-X: Ein visuelles Schlussfolgerungs-Datensatz für natürlichsprachliche Erklärungen | Paper | HyperAI