GS-Occ3D: 가우시안 스플래터링을 활용한 비전 중심의 3D 점유 재구성 확장

점유율(occupancy)은 자율주행 기술에서 인지 및 계획에 필수적인 기하학적 사전 지식을 제공하므로 핵심적인 역할을 한다. 그러나 기존의 방법들은 주로 LiDAR 기반의 점유율 레이블에 의존하고 있어 확장성에 한계가 있으며, 자동 레이블링을 위해 광범위한 커뮤니티 기반 수집 데이터를 활용하는 데 어려움이 있다. 이를 해결하기 위해 우리는 시각 기반(비전 온리)의 확장 가능한 프레임워크인 GS-Occ3D를 제안한다. 이 프레임워크는 직접적으로 점유율을 재구성한다. 그러나 시각 기반 점유율 재구성은 희소한 시점, 동적 장면 요소, 심각한 가림 현상, 장거리 운동에 따른 변화 등으로 인해 큰 도전 과제를 안고 있다. 기존의 시각 기반 방법들은 주로 메쉬(mesh) 표현을 사용하지만, 이는 기하학적 정보의 불완전성과 추가적인 후처리 과정을 수반하여 확장성에 제약을 초래한다. 이러한 문제를 극복하기 위해 GS-Occ3D는 오크트리(Octree) 기반의 가우시안 서플( Gaussian Surfel) 표현을 활용하여 명시적인 점유율 표현을 최적화함으로써 효율성과 확장성을 보장한다. 또한, 장면을 정적 배경, 지면, 동적 물체로 분해하여 각각에 맞는 모델링 전략을 적용한다: (1) 지면은 주요 구조적 요소로 명시적으로 재구성되어 대규모 영역에서의 일관성을 크게 향상시킨다; (2) 동적 차량은 별도로 모델링되어 운동과 관련된 점유율 패턴을 보다 정확히 포착할 수 있다. Waymo 데이터셋에서 실시한 광범위한 실험 결과, GS-Occ3D는 최신 기술 수준의 기하학적 재구성 성능을 달성함을 입증하였다. 다양한 도시 환경에서 수집한 시각 기반 이진 점유율 레이블을 체계적으로 정제하여, Occ3D-Waymo에서 하류 점유율 모델에 효과적임을 보였으며, Occ3D-nuScenes에서 우수한 제로샷 일반화 성능을 나타냈다. 이는 대규모 시각 기반 점유율 재구성 기술이 확장 가능한 자동 레이블링의 새로운 패러다임으로서의 잠재력을 지닌다는 점을 시사한다. 프로젝트 페이지: this https URL