AlgoPuzzleVQA 데이터 세트는 싱가포르 기술 디자인 대학교에서 구축한 다중 모드 추론 데이터 세트로, 시각적 이해, 언어 이해 및 복잡한 알고리즘 추론이 필요한 알고리즘 퍼즐을 풀 때 다중 모드 언어 모델의 능력을 시험하고 평가하기 위해 만들어졌습니다. 이 데이터 세트에는 부울 논리, 조합론, 그래프 이론, 최적화, 검색 등 다양한 수학 및 알고리즘 주제를 다루는 18개의 퍼즐이 포함되어 있습니다. 이 데이터 세트는 인간이 작성한 코드에서 자동화된 방식으로 퍼즐을 생성하므로 추론 복잡성과 데이터 세트 크기 측면에서 데이터 세트를 임의로 확장할 수 있습니다. 이 퍼즐은 모두 지루한 수동 계산이 필요 없이 알고리즘을 통해 정확한 해답을 찾을 수 있습니다. AlgoPuzzleVQA는 다중 모드 추론 기능의 벤치마크로 사용되어 다중 모드 언어 모델이 시각, 언어 이해, 알고리즘 추론을 결합한 복잡한 문제를 해결하는 능력을 평가하고 향상시킬 수 있습니다.