InternScenes: 실제적인 레이아웃을 갖춘 대규모 시뮬러터 가능한 실내 장면 데이터셋

embodiment AI의 발전은 장면의 다양성과 현실적인 배치를 특징으로 하는 대규모이고 시뮬레이션 가능한 3D 장면 데이터셋에 크게 의존하고 있다. 그러나 기존의 데이터셋은 일반적으로 데이터 규모나 다양성 부족, 소형 물체가 누락된 정제된 배치, 그리고 심각한 물체 간 충돌 등의 한계를 가지고 있다. 이러한 문제를 해결하기 위해, 우리는 세 가지 서로 다른 장면 소스(현장 스캔, 절차적 생성 장면, 디자이너가 제작한 장면)를 통합하여 약 4만 개의 다양한 실내 장면을 포함하는 새로운 대규모 시뮬레이션 가능한 실내 장면 데이터셋인 InternScenes를 제안한다. 이 데이터셋은 총 196만 개의 3D 객체를 포함하며, 15개의 일반적인 장면 유형과 288개의 객체 클래스를 커버한다. 특히 장면 내 소형 물체를 대량으로 보존함으로써, 평균적으로 각 영역당 41.5개의 객체를 포함하는 현실적이고 복잡한 배치를 구현하였다. 본 연구는 실-world 스캔에 대해 실제-시뮬레이션 복제본을 생성함으로써 시뮬레이션 가능성을 보장하고, 장면에 상호작용 가능한 객체를 포함시켜 상호작용성을 향상시키며, 물리 기반 시뮬레이션을 활용해 물체 간 충돌 문제를 해결하는 종합적인 데이터 처리 파이프라인을 구축하였다. InternScenes의 가치를 장면 배치 생성 및 포인트-목표 탐색(point-goal navigation) 두 가지 벤치마크 응용 사례를 통해 입증하였다. 이 두 사례 모두 복잡하고 현실적인 장면 배치로 인해 제기되는 새로운 도전 과제를 보여주며, 특히 InternScenes가 이러한 작업에 대한 모델 학습 규모 확대를 가능하게 하여, 그러한 복잡한 장면 내에서의 생성 및 탐색을 실현할 수 있음을 보여준다. 우리는 데이터, 모델, 벤치마크를 모두 오픈소스로 공개할 것을 약속하며, 연구 공동체 전반의 발전에 기여하고자 한다.