Yinglin Duan Zhengxia Zou Tongwei Gu Wei Jia Zhan Zhao et al

초록

최근 연구는 복잡한 실세계 시나리오를 시뮬레이션할 수 있는 3D 월드 모델 개발에 점점 더 집중하고 있다. 월드 모델은 몸체를 가진 인공지능(AI), 자율주행, 엔터테인먼트 등 다양한 분야에서 널리 응용되고 있다. 정확한 물리 기반을 갖춘 더 현실적인 시뮬레이션은 시뮬레이션에서 실제 환경으로의 격차(sim-to-real gap)를 효과적으로 줄일 수 있으며, 이를 통해 실세계에 대한 풍부한 정보를 편리하게 수집할 수 있다. 기존의 수동적 모델링 방식은 가상 3D 장면의 생성을 가능하게 했으나, 현대의 접근 방식은 고급 기계학습 알고리즘을 활용해 3D 월드를 자동 생성하는 데 주력하고 있다. 특히 최근의 주요 연구 성과는 사용자 지시에 기반해 가상 세계를 생성할 수 있는 생성형 방법에 집중하고 있다. 본 연구는 이러한 방향성을 탐색하기 위해, 산업적 3D 환경 제작 프로세스를 간소화하는 간단하면서도 효과적인 3D 월드 생성 프레임워크인 LatticeWorld를 제안한다. LatticeWorld는 경량 대규모 언어 모델(LLaMA-2-7B)과 산업 수준의 렌더링 엔진(예: Unreal Engine 5)을 결합하여 동적 환경을 생성한다. 제안하는 프레임워크는 텍스트 설명과 시각적 지시를 다중모달 입력으로 받아, 동적 에이전트를 갖춘 대규모 3D 상호작용 세계를 생성하며, 경쟁적인 다중 에이전트 상호작용, 고해상도 물리 시뮬레이션, 실시간 렌더링을 특징으로 한다. LatticeWorld의 성능을 종합적으로 평가하기 위해 실험을 수행한 결과, 장면 레이아웃 생성 정확도와 시각적 사실성에서 뛰어난 성능을 입증하였다. 또한 전통적인 수동 제작 방식과 비교했을 때, 높은 창의성 품질을 유지하면서 산업 생산 효율이 100% 이상 향상됨을 확인하였다. 본 연구의 데모 영상은 다음 URL에서 확인할 수 있다. https://example.com/demo