AnySplat: 제약 없는 뷰에서 피드포워드 3D 가우시안 스플래팅

우리는 임의의 카메라 포즈가 알려지지 않은 이미지 컬렉션에서 새로운 시점 합성을 위한 피드포워드 네트워크인 AnySplat을 소개합니다. 전통적인 신경망 렌더링 파이프라인은 알려진 카메라 포즈와 장면별 최적화를 요구하거나, 최근의 피드포워드 방법은 밀도 높은 시점의 계산 부담으로 인해 제약을 받는 반면, 우리의 모델은 모든 것을 한 번에 예측합니다. 단일 순방향 패스를 통해 장면의 기하학적 구조와 외관을 인코딩하는 3D 가우시안 프리미티브 집합과 각 입력 이미지에 대한 대응하는 카메라 내부 매개변수와 외부 매개변수가 생성됩니다. 이 통합 설계는 포즈 주석 없이 캐주얼하게 캡처된 다중 시점 데이터셋에도 쉽게 확장됩니다. 광범위한 제로샷 평가에서 AnySplat은 희소 및 밀도 높은 시점 시나리오 모두에서 포즈 인식 베이스라인과 동등한 품질을 제공하면서 기존의 포즈 자유 접근법을 능가합니다. 또한 최적화 기반 신경 필드에 비해 렌더링 지연 시간을 크게 줄여서, 제약 없는 캡처 환경에서도 실시간 새로운 시점 합성을 가능하게 합니다.프로젝트 페이지: https://city-super.github.io/anysplat/