AlgoPuzzleVQA データセットは、シンガポール工科デザイン大学によって構築されたマルチモーダル推論データセットで、視覚的理解、言語理解、および複雑なアルゴリズム推論を必要とするアルゴリズム パズルを解く際のマルチモーダル言語モデルの能力に挑戦し、評価します。

このデータセットには、ブール論理、組み合わせ論、グラフ理論、最適化、検索など、さまざまな数学およびアルゴリズムのトピックをカバーする 18 種類のパズルが含まれています。データセットは、人間が作成したコードから自動化された方法でパズルを生成し、データセットが任意の推論の複雑さとデータセットのサイズに合わせて拡張できるようにします。これらのパズルにはすべて、面倒な手動計算を必要とせずに、アルゴリズムによって見つけることができる正確な解決策があります。

AlgoPuzzleVQA は、視覚、言語理解、およびアルゴリズム推論を組み合わせた複雑な問題を解決するマルチモーダル言語モデルの能力を評価および促進するための、マルチモーダル推論機能のベンチマーク テストとして使用できます。