Command Palette
Search for a command to run...
ExeWorldBench는 중국과학기술대학과 홍콩중문대학이 2026년에 공동으로 발표한 실행 가능한 3D 세계 모델링 평가 데이터셋으로, 관련 논문은 「ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling」이며, AI 모델이 3차원 세계의 기계 구조, 물리 운동 및 인과 관계를 이해하는 능력과 코드를 통해 실행 가능한 3D 장면을 구축하는 능력을 평가하는 것을 목표로 합니다.
이 데이터셋은 Blender 3D 모델링 및 시뮬레이션 환경을 기반으로 구축되었으며, 기계 장치 재현, 다단계 기계 시스템 조합, 목표 기반 실행 가능 세계 생성의 세 가지 작업을 포함합니다. 평가는 생성된 장면의 시각적 구조뿐만 아니라 기계 부품 간의 연결 관계, 운동 과정, 인과 상호작용 및 목표 완료 상황도 조사하여, 모델이 시각적 관찰 또는 텍스트 지시에서 실행 가능한 3D 세계 구축까지 이르는 종합 능력을 측정합니다.
데이터셋은 작업 지시, 참조 이미지, 운동 참조 자료 및 평가 프롬프트 등의 리소스를 제공하며, Agent Harness 또는 API 두 가지 방식으로 평가를 수행할 수 있습니다. 코드 생성, 물리 추론, 세계 모델 및 에이전트의 3D 장면 구축 능력 평가 연구에 활용할 수 있습니다.
이 데이터셋은 단순히 세계의 외관 재현에만 관심을 두는 것이 아니라, 실행 가능한 3차원 세계를 구성할 수 있는지 여부를 중심으로 하며, 모델이 코드를 통해 실행 가능한 세계를 구축하는 능력을 검증하는 데 사용할 수 있습니다.
데이터셋 구성
데이터셋은 주로 다음 디렉터리를 포함합니다:
t1: 기계 장치 실행 가능성 작업(Mechanism Executability)으로, 모델이 참조 이미지를 기반으로 기계 구조, 구성 요소 관계 및 운동 방식을 추론하고 Blender 코드를 사용하여 실행 가능한 기계 장치를 재구성하도록 요구합니다;
- t2: 조합 실행 가능성 작업(Compositional Executability)으로, 모델이 여러 기계 단계를 포함하는 시스템을 구축하도록 요구하며, 구성 요소 간의 공간 배치, 기계적 연결 및 인과 상호작용이 완전한 실행 과정을 형성할 수 있는지 조사합니다;
- t3: 목표 기반 실행 가능 세계 생성 작업(Intent-Driven Executable World Synthesis)으로, 모델이 고수준 텍스트 목표와 물리적 제약에 따라 실행 가능한 3D 세계를 구축하도록 요구하며, 지정 구성 요소 제약과 목표 제약의 두 가지 작업 형태를 포함합니다;
- api_prompt: 세 가지 작업에 대응하는 API 평가 프롬프트를 제공합니다. 여기서 T1, T2는 통일된 프롬프트 템플릿을 사용하고, T3는 서로 다른 작업에 독립적인 프롬프트를 제공합니다;
- eval: 평가 모델에서 사용하는 프롬프트를 포함하며, 생성된 장면의 시각적 구조, 기계 운동, 실행 가능한 인과 메커니즘 및 목표 완료 상황을 평가하는 데 사용됩니다.
인용
@article{peng2026exeworldbench,
title={ExeWorldBench: Benchmarking Code-Based Executable 3D World Modeling},
author={Peng, Xinge and Fang, Zhen and Wang, Ruibing and Lv, Yongxuan and Li, Haodong and Zhang, Guohui and Ma, Xiaoxiao and Lu, Yiting and Chen, Lin and Che, Zehui and others},
journal={arXiv preprint arXiv:2610.15166},
year={2026}
}