MobileNeRF: 모바일 아키텍처에서 효율적인 Neural Field 렌더링을 위한 다각형 래스터화 파이프라인 활용

신경형 복사장(Neural Radiance Fields, NeRFs)는 새로운 시점에서 3D 장면의 이미지를 합성하는 데 놀라운 능력을 보여주었다. 그러나 기존의 NeRF는 광선 추적(ray marching) 기반의 전용 볼륨 렌더링 알고리즘에 의존하며, 이는 널리 보급된 그래픽스 하드웨어의 성능과는 부적합한 구조를 가지고 있다. 본 논문은 텍스처가 부여된 다각형 기반의 새로운 NeRF 표현 방식을 제안한다. 이 방식은 표준 렌더링 파이프라인을 통해 새로운 이미지를 효율적으로 생성할 수 있다. 제안된 NeRF는 이진 투명도와 특징 벡터를 표현하는 텍스처를 갖춘 다각형의 집합으로 표현된다. 전통적인 z-버퍼를 사용한 다각형 렌더링을 통해 각 픽셀마다 특징이 생성되며, 이 특징들은 프래그먼트 색상 내에서 실행되는 소규모의 시점에 따라 달라지는 MLP(다층 퍼셉트론)에 의해 해석되어 최종 픽셀 색상을 생성한다. 이러한 접근은 NeRF를 기존의 다각형 래스터화 파이프라인으로 렌더링할 수 있게 하여, 다양한 컴퓨팅 플랫폼(모바일폰 포함)에서 상호작용 가능한 프레임 속도를 달성할 수 있게 한다.