OST-Bench는 상하이 인공지능 연구소가 상하이 교통대학교, 홍콩대학교 및 기타 기관들과 협력하여 2025년에 출시한 데이터셋으로, 멀티모달 대형 모델의 온라인 시공간 장면 이해 능력을 평가하는 데 사용됩니다. 관련 연구 논문의 제목은 "OST-Bench: 온라인 시공간 장면 이해에서 MLLM의 기능 평가목표는 온라인 장면 탐색, 가시적 정보 모델링, 시공간적 추론 작업에서 다중 모드 대형 모델의 포괄적 이해 능력을 평가하는 것입니다.

이 데이터셋은 약 1,400개의 실제 실내 3D 장면으로 구성되어 있으며, 장면 탐색 프로세스를 기반으로 약 10,000개의 다중 회전 시간 질의응답 샘플을 생성합니다. 장면은 ScanNet, ARKitScenes, Matterport3D에서 수집되었으며, 통합 3D 객체 및 의미적 주석을 사용하여 처리됩니다. 각 장면 내에 연속적인 시점 탐색 궤적이 구축되고, 축적된 가시적 정보를 기반으로 해당 질의응답 콘텐츠가 생성됩니다. 작업 설계는 에이전트 상태, 가시적 정보, 에이전트-객체 공간 관계라는 세 가지 핵심 이해 방향을 포괄하며, 이는 15개의 하위 작업으로 세분화되어 다중 회전 대화 형식으로 제시됩니다. 이를 위해 모델은 과거 관찰 결과와 현재 시야를 기반으로 온라인 시공간 추론을 수행해야 합니다.