Command Palette
Search for a command to run...
Ein einfacher Baseline für knowledgebasierte visuelle Fragebeantwortung
Ein einfacher Baseline für knowledgebasierte visuelle Fragebeantwortung
Alexandros Xenos Themos Stafylakis Ioannis Patras Georgios Tzimiropoulos
Zusammenfassung
Diese Arbeit befasst sich mit dem Problem des knowledge-basierten visuellen Fragenbeantwortens (KB-VQA). In jüngsten Arbeiten wurde die Bedeutung der Einbeziehung sowohl expliziter (durch externe Datenbanken) als auch impliziter (durch große Sprachmodelle, LLMs) Wissensquellen betont, um Fragen, die externe Kenntnisse erfordern, effektiv zu beantworten. Ein häufiger Nachteil solcher Ansätze liegt in ihren relativ komplexen Pipelines und der starken Abhängigkeit von der Nutzung der GPT-3-API. Unser zentrales Beitrag in dieser Arbeit besteht darin, eine wesentlich einfachere und leicht reproduzierbare Pipeline vorzuschlagen, die im Wesentlichen auf effizientem In-Context-Lernen basiert, indem LLaMA (Version 1 und 2) mittels frageninformierter Bildunterschriften als Kontextinformationen promptet wird. Im Gegensatz zu jüngeren Ansätzen ist unsere Methode trainingsfrei, erfordert keinen Zugriff auf externe Datenbanken oder APIs und erreicht gleichwohl eine state-of-the-art Genauigkeit auf den Datensätzen OK-VQA und A-OK-VQA. Schließlich führen wir mehrere Ablationstudien durch, um wichtige Aspekte unserer Methode besser zu verstehen. Unser Code ist öffentlich verfügbar unter https://github.com/alexandrosXe/ASimple-Baseline-For-Knowledge-Based-VQA