Command Palette
Search for a command to run...
Jingxuan Wei Caijun Jia Xi Bai Xinglong Xu Siyuan Li Linzhuang Sun Bihui Yu Conghui He Lijun Wu Cheng Tan

초록
통합 다중모달 모델(UMMs)의 등장은 인공지능 분야에서 수동적 인식에서 능동적이고 다중 모달 생성으로의 패러다임 전환을 의미한다. 이러한 모델들은 정보를 통합하는 데 있어 예전에는 상상할 수 없었던 능력을 지니고 있지만, 평가 측면에서는 여전히 중요한 격차가 존재한다. 기존의 벤치마크는 주로 분류적 이해 능력이나 제약 없는 이미지 생성 능력을 별도로 평가할 뿐, 생성적 추론이라는 통합된 인지 과정을 측정하지 못하고 있다. 이 격차를 메우기 위해, 기하학적 구성은 언어 이해와 정밀한 시각적 생성을 통합해야 하는 본질적인 특성을 지니고 있으므로 이상적인 평가 환경이 될 수 있다고 제안한다. 본 연구에서는 기하학적 생성적 추론 능력을 평가하기 위해 특별히 설계된 GGBench를 소개한다. 이 벤치마크는 모델이 단순히 이해하고 추론하는 것을 넘어서 해결책을 능동적으로 구성할 수 있는 능력을 체계적으로 진단할 수 있는 포괄적인 프레임워크를 제공하며, 차세대 지능형 시스템에 대해 더욱 엄격한 평가 기준을 제시한다. 프로젝트 웹사이트: https://opendatalab-raiser.github.io/GGBench/.