Der AlgoPuzzleVQA-Datensatz ist ein multimodaler Schlussfolgerungsdatensatz, der von der Singapore University of Technology and Design erstellt wurde, um die Fähigkeit multimodaler Sprachmodelle zum Lösen algorithmischer Rätsel, die visuelles Verständnis, Sprachverständnis und komplexe algorithmische Schlussfolgerungen erfordern, zu testen und zu bewerten.

Der Datensatz enthält 18 verschiedene Rätsel zu unterschiedlichen mathematischen und algorithmischen Themen wie Boolesche Logik, Kombinatorik, Graphentheorie, Optimierung, Suche usw. Der Datensatz generiert automatisch Rätsel aus von Menschen geschriebenem Code und stellt so sicher, dass der Datensatz hinsichtlich Inferenzkomplexität und Datensatzgröße beliebig skaliert werden kann. Für alle diese Rätsel gibt es exakte Lösungen, die algorithmisch gefunden werden können, ohne dass langwierige manuelle Berechnungen erforderlich sind.

AlgoPuzzleVQA kann als Benchmark für multimodale Denkfähigkeiten verwendet werden, um die Fähigkeit multimodaler Sprachmodelle zur Lösung komplexer Probleme, die Sehen, Sprachverständnis und algorithmisches Denken kombinieren, zu bewerten und zu verbessern.