NeRFLiX에서 NeRFLiX++로: 일반적인 NeRF 무관 복원 패러다임

신경 레이디언스 필드(NeRF)는 새로운 시점 합성에서 큰 성공을 거두었으나, 기존의 NeRF 기반 접근 방식은 실제 장면에서 고해상도 세부 정보를 복원하는 데 여전히 도전 과제를 안고 있다. 이는 보정 정보의 불완전성과 장면 표현의 정확도 부족으로 인한 것으로, 고품질 학습 프레임을 사용하더라도 NeRF 모델이 생성하는 합성 시점 이미지에는 노이즈, 흐림 등 눈에 띄는 렌더링 아티팩트가 여전히 존재한다. 이를 해결하기 위해 우리는 NeRF에 종속되지 않는 일반적인 복원 패러다임인 NeRFLiX를 제안한다. 이는 복원 과정에서의 품질 저하를 유도하는 인터-뷰포인트 믹서를 학습하는 방식이다. 특히, NeRF 스타일의 품질 저하 모델링 방법을 설계하고 대규모 학습 데이터를 구축함으로써, 심층 신경망이 NeRF 고유의 렌더링 아티팩트를 효과적으로 제거할 수 있는 가능성을 열었다. 더불어, 품질 저하 제거를 넘어서, 관련성이 높은 고해상도 학습 이미지를 융합하는 인터-뷰포인트 집계 프레임워크를 제안함으로써 최첨단 NeRF 모델의 성능을 완전히 새로운 수준으로 끌어올리고, 매우 사실감 있는 합성 시점을 생성한다. 이러한 패러다임을 기반으로, 더 강력한 이단계 NeRF 품질 저하 시뮬레이터와 빠른 인터-뷰포인트 믹서를 갖춘 NeRFLiX++를 추가로 제안하였으며, 계산 효율성이 크게 향상된 동시에 뛰어난 성능을 달성하였다. 특히, NeRFLiX++는 노이즈가 있는 저해상도 NeRF 렌더링 결과로부터 사실감 있는 초고해상도 출력을 복원하는 능력을 지닌다. 광범위한 실험을 통해 NeRFLiX++가 다양한 새로운 시점 합성 벤치마크에서 뛰어난 복원 능력을 보여주었다.