CLiFT: 컴퓨트 효율적이고 적응형 라이트 필드 토큰을 위한 압축 기법

본 논문은 "압축된 라이트필드 토큰(CLiFTs)"으로 장면을 표현하는 신경 렌더링 접근법을 제안합니다. 이 방법은 장면의 풍부한 외관 및 기하학적 정보를 유지하면서도, 압축된 토큰을 통해 계산 효율적인 렌더링을 가능하게 합니다. 또한 한 번 학습된 네트워크로 장면을 표현하거나 새로운 시점을 렌더링하기 위해 토큰의 수를 변경할 수 있습니다. 구체적으로, 카메라 포즈와 함께 여러 이미지를 제공하면 다중 시점 인코더가 이미지를 토큰화합니다. 잠재 공간 K-평균 알고리즘은 토큰을 사용하여 줄어든 광선 집합을 클러스터 중심점으로 선택합니다. 다중 시점 '콘덴서'는 모든 토큰의 정보를 중심점 토큰으로 압축하여 CLiFTs를 구성합니다. 테스트 시에는 대상 시점과 계산 예산(즉, CLiFTs의 수)이 주어지면 시스템은 지정된 수의 가까운 토큰을 수집하고 계산 적응형 렌더러를 사용하여 새로운 시점을 합성합니다. RealEstate10K 및 DL3DV 데이터셋에 대한 광범위한 실험 결과는 본 접근법이 유사한 렌더링 품질을 유지하면서도 상당한 데이터 감소를 달성하며, 가장 높은 전체 렌더링 점수를 얻었음을 정량적이고 정성적으로 검증하였습니다. 또한 데이터 크기, 렌더링 품질, 그리고 렌더링 속도 간의 균형을 제공합니다.