NeRFLiX: 품질 향상을 위한 저하 유도 상호보정 기반 신경 시점 합성

신경 볼륨 렌더링 필드(Neural Radiance Fields, NeRF)는 새로운 시점 합성에서 큰 성공을 거두고 있다. 그러나 실세계 장면에서는 기존의 NeRF 기반 접근법이 원본 이미지에서 고해상도 세부 정보를 복원하는 데 여전히 도전 과제를 안고 있다. 이는 보정 정보의 불완전성과 장면 표현의 정확도 부족으로 인한 것이다. 고품질의 학습 프레임을 사용하더라도 NeRF 모델이 생성하는 합성 시점 이미지에는 여전히 노이즈, 흐림 등 눈에 띄는 렌더링 아티팩트가 발생한다. 이러한 문제를 해결하여 NeRF 기반 접근법의 합성 품질을 향상시키기 위해, 우리는 ‘NeRFLiX’를 제안한다. NeRFLiX는 감쇠를 유도하는 다중 시점 혼합 기반의 일반적인 NeRF 무관 복원 프레임워크이다. 특히, NeRF 스타일의 감쇠 모델링 방식을 설계하고 대규모 학습 데이터를 구축함으로써, 기존의 깊은 신경망이 NeRF 고유의 렌더링 아티팩트를 효과적으로 제거할 수 있는 가능성을 열었다. 더불어 감쇠 제거를 넘어서, 높은 관련성을 지닌 고품질 학습 이미지를 융합할 수 있는 다중 시점 집계 프레임워크를 제안하여, 최신 NeRF 모델의 성능을 완전히 새로운 수준으로 끌어올리고, 매우 사실감 있는 합성 시점 이미지를 생성할 수 있게 했다.