2023년 "실시간 광도장 렌더링을 위한 3D 가우시안 스플래팅(3DGS)"이 등장한 이후, 3DGS는 3D 재구성 및 새로운 관점 합성 분야에서 가장 주목받는 기술적 접근 방식 중 하나로 빠르게 자리매김했습니다. 기존의 NeRF와 비교했을 때,3DGS는 렌더링 속도와 시각적 품질 면에서 획기적인 발전을 이루어 실시간 고화질 3D 장면 재구성을 가능하게 했습니다.하지만 연구 및 산업 응용 분야의 급속한 성장과 함께 새로운 문제가 점차 대두되었습니다. 기존 구현 방식은 비디오 메모리와 컴퓨팅 자원에 대한 요구 조건이 높고, 학습 효율성과 엔지니어링 확장성이 제한적이라는 점입니다. 연구자들은 보다 복잡한 시나리오와 작업에 적용하기 위해 저수준 최적화에 많은 시간을 투자해야 하는 경우가 많습니다.

최근 UC 버클리, NVIDIA, 상하이 공과대학교, 아마존, Meta 등 여러 기관이 공동 개발한 오픈 소스 프로젝트인 gsplat이 이 문제에 대한 새로운 해결책을 제시했습니다. gsplat은 가우시안 스플래팅(Gaussian Splatting) 방법의 학습 및 개발을 위해 특별히 설계된 기본 라이브러리입니다.gsplat은 기존 3DGS 렌더링 품질을 유지하면서 기본 학습 프레임워크를 체계적으로 재구성하고 최적화했습니다.이는 현재 가우시안 스플래팅 생태계에서 가장 중요한 인프라 중 하나가 되었습니다.

건축 설계 관점에서 보면,gsplat은 프런트엔드와 백엔드를 분리하는 방식을 채택합니다.프런트엔드는 PyTorch와 긴밀하게 통합된 Python 인터페이스를 제공하여 연구자들이 신속하게 개발하고 실험할 수 있도록 지원합니다. 백엔드는 고도로 최적화된 CUDA 커널을 기반으로 고성능 미분 가능한 래스터화 연산을 가능하게 합니다. 공식 실험 결과에 따르면, 기존 구현 방식과 비교했을 때,gsplat은 GPU 메모리를 최대 4배까지 절약하고 학습 시간을 약 10%~15% 단축할 수 있습니다.이는 대규모 장면 학습에 필요한 리소스 요구량을 크게 줄여줍니다.

gsplat은 성능 향상 외에도 적응형 가우시안 밀도 제어 메커니즘을 도입하여 학습 중에 가우시안 포인트를 자동으로 추가하거나 제거함으로써 더욱 효율적인 장면 표현을 구현합니다. 또한 COLMAP, SfM 포인트 클라우드, LiDAR 포인트 클라우드 등 다양한 데이터 소스를 지원하며, 내장된 실시간 웹 뷰어를 통해 사용자는 브라우저에서 직접 3D 장면을 보고 상호 작용할 수 있습니다.

현재 HyperAI(hyper.ai)는 "Gsplat 3D Gaussian Splash 학습 및 시각화" 튜토리얼을 출시하여 배포 진입 장벽을 낮추고 모델을 빠르게 검증할 수 있도록 지원하고 있습니다. ⬇️

온라인으로 실행:https://go.hyper.ai/19Pn8

더 많은 온라인 튜토리얼:

https://hyper.ai/notebooks

데모 실행

1. hyper.ai 홈페이지에 접속한 후 "튜토리얼" 페이지를 선택하거나 "더 많은 튜토리얼 보기"를 클릭하고 "Gsplat 3D Gaussian Splash 학습 및 시각화"를 선택한 다음 "이 튜토리얼 실행"을 클릭합니다.

2. 페이지가 리디렉션된 후 오른쪽 상단의 "복제"를 클릭하여 튜토리얼을 자신의 컨테이너로 복제합니다.

참고: 페이지 오른쪽 상단에서 언어를 변경할 수 있습니다. 현재 중국어와 영어로만 제공됩니다. 이 튜토리얼에서는 영어로 된 단계를 안내합니다.

3. "NVIDIA RTX 5090" 및 "PyTorch" 이미지를 선택하고 "작업 실행 계속"을 클릭합니다.

4. 리소스 할당이 완료될 때까지 기다립니다. 상태가 "실행 중"으로 변경되면 "워크스페이스 열기"를 클릭하여 Jupyter 워크스페이스에 들어갑니다.

효과 표시

1. 페이지가 리디렉션된 후 왼쪽에 있는 README 파일을 클릭하고 상단의 실행을 클릭합니다.

2. 프로세스가 완료되면 오른쪽에 있는 API 주소를 클릭하여 데모 인터페이스를 엽니다.