Command Palette
Search for a command to run...
비전어리: 웹GPU 기반 가우시안 스플래터링 플랫폼에 구축된 월드 모델 커리어
비전어리: 웹GPU 기반 가우시안 스플래터링 플랫폼에 구축된 월드 모델 커리어
초록
신경 렌더링, 특히 3D 가우시안 스플래터링(3DGS)은 급속도로 발전하여 월드 모델 구축의 핵심 요소로 자리 잡았다. 그러나 기존의 뷰어 솔루션은 여전히 분산되어 있으며, 무거운 구조이거나 레거시 파이프라인에 제약을 받고 있어 높은 배포 장벽과 동적 콘텐츠, 생성 모델에 대한 제한된 지원을 겪고 있다. 본 연구에서는 실시간 다양한 가우시안 스플래터링 및 메시 렌더링을 위한 오픈소스이자 웹 기반 플랫폼인 Visionary를 제안한다. Visionary는 프레임별 ONNX 기반 추론을 지원하는 효율적인 WebGPU 렌더러를 기반으로 하며, 가벼운 "클릭 한 번으로 실행" 가능한 브라우저 환경을 유지하면서도 동적 신경 처리를 가능하게 한다. 또한 표준화된 가우시안 생성기 계약(Gaussian Generator contract)을 도입하여, 표준 3DGS 렌더링을 지원할 뿐만 아니라 각 프레임마다 가우시안을 생성하거나 업데이트할 수 있는 플러그 앤 플레이 알고리즘을 허용한다. 이러한 추론 기반 아키텍처는 전방향 생성 후처리(Feedforward generative post-processing)를 적용할 수 있도록 한다. 플랫폼은 기존 웹 애플리케이션에 원활하게 통합할 수 있도록 간결한 TypeScript API를 제공하는 three.js 라이브러리 플러그인도 함께 제공한다. 실험 결과, 동일한 3DGS 자산을 기준으로 GPU 기반의 기본 도형 정렬 기능을 통해 기존 웹 뷰어 대비 뛰어난 렌더링 효율을 달성함을 확인했다. 현재 MLP 기반 3DGS, 4DGS, 신경 애비터, 스타일 변환 또는 향상 네트워크 등 다양한 변종을 지원하고 있다. 브라우저 내에서 추론과 렌더링을 직접 통합함으로써 Visionary는 3DGS 계열 기법의 재현, 비교, 배포에 있어 큰 장벽을 낮추었으며, 재구성적 및 생성적 패러다임 모두를 포괄하는 통합 월드 모델 운반체로서의 역할을 수행한다.