Gear-NeRF: 운동 인지 스페시오타임스ampled 자유 시점 렌더링 및 추적

동적 장면을 모델링하기 위해 신경 복사장(Neural Radiance Fields, NeRFs)의 확장 기법은 거의 사진 수준의 사실감을 지닌 자유 시점 렌더링을 가능하게 하였다. 이러한 방법들은 몰입형 경험 창출에 어느 정도 잠재력을 보여주고 있으나, 두 가지 한계로 인해 보편적인 활용이 제한되고 있다. 첫째, 계산 예산이 제한될 경우 재구성 품질이 크게 저하되는 점이며, 둘째, 장면의 의미론적 이해가 부족하다는 점이다. 이러한 문제를 해결하기 위해, 우리는 강력한 이미지 세그멘테이션 모델로부터 얻은 의미 정보를 활용하는 Gear-NeRF를 제안한다. 본 연구는 시공간(4D) 의미론적 임베딩을 학습하는 체계적인 방법을 제시하며, 이를 기반으로 '기어(gear)' 개념을 도입하여 장면 내 움직임의 정도에 따라 동적 영역을 계층적으로 모델링할 수 있도록 한다. 이러한 구분은 각 영역의 움직임 규모에 비례하여 시공간 샘플링 해상도를 조정할 수 있게 하여, 더 사실감 있는 동적 새로운 시점 합성 결과를 달성한다. 동시에, 거의 추가 비용 없이 관심 대상 객체의 자유 시점 추적 기능을 제공할 수 있는데, 이는 기존의 NeRF 기반 방법들에서는 달성하지 못한 기능이다. 실증적 연구를 통해 제안된 방법의 효과성을 검증하였으며, 다양한 도전적인 데이터셋에서 최신 기술 수준의 렌더링 및 추적 성능을 달성하였다.