TallyQA: Beantwortung komplexer Zählfragen

Die meisten Zählfragen in visuellen Frage-Antwort-Datensätzen (VQA) sind einfach und erfordern nicht mehr als die Objekterkennung. In dieser Studie untersuchen wir Algorithmen für komplexe Zählfragen, die Beziehungen zwischen Objekten, Attributidentifikation, Schlussfolgerung und mehr umfassen. Dazu haben wir TallyQA erstellt, den größten Datensatz für offene Zählfragen weltweit. Wir schlagen einen neuen Algorithmus vor, der Relation Networks mit Region Proposal verwendet. Unsere Methode ermöglicht es, Relation Networks effizient bei hochaufgelösten Bildern einzusetzen. Sie erzielt verglichen mit Baseline- und aktuellen Systemen sowohl auf TallyQA als auch auf dem HowMany-QA-Benchmark standesüberragende Ergebnisse.