에디팅 조건부 레디언스 필드

신경형 광선장(Neural Radiance Field, NeRF)은 각 장면별로 최적화되는 고품질 시점 합성(scene model)을 지원하는 기술이다. 본 논문에서는 형태 카테고리(예: 의자, 책상 등)에 대해 훈련된 카테고리 수준의 NeRF, 즉 조건부 광선장(conditional radiance field)을 사용자 편집이 가능한 형태로 구현하는 방법을 탐구한다. 구체적으로, 사용자가 입력한 원시적인 2차원 스크래치(scribble)를 3차원 공간으로 전파하여 특정 지역의 색상 또는 형태를 수정할 수 있는 방법을 제안한다. 먼저, 다양한 객체 인스턴스 간 공유되는 형태 분기(Shape Branch)를 포함하는 새로운 모듈형 네트워크 구성 요소를 갖춘 조건부 광선장을 제안한다. 동일 카테고리의 여러 인스턴스를 관찰함으로써, 모델은 어떠한 감독 신호 없이도 잠재적인 부위 의미(semantics)를 학습할 수 있으며, 이를 통해 원시적인 2D 사용자 스크래치를 전체 3차원 영역(예: 의자 좌석)으로 전파할 수 있다. 다음으로, 특정 네트워크 구성 요소에 집중하는 하이브리드 네트워크 업데이트 전략을 제안하며, 이는 효율성과 정확성 사이의 균형을 유지한다. 사용자 상호작용 과정에서는 사용자의 제약 조건을 만족하면서도 원래 객체 구조를 보존하는 최적화 문제를 정식화한다. 제안한 방법은 세 가지 형태 데이터셋에 걸쳐 다양한 편집 작업을 수행하여 기존 신경 기반 편집 기법들을 능가함을 실험적으로 입증한다. 마지막으로, 실제 사진의 외관과 형태를 편집한 결과를 제시하며, 편집 내용이 보간된 새로운 시점(view)까지도 자연스럽게 전파됨을 보여준다.