PhySG: 물리 기반 재질 편집 및 재조명을 위한 구면 가우스 역렌더링

우리는 PhySG를 소개합니다. 이 프레임워크는 완전 미분 가능한 렌더러를 포함하며, 일련의 RGB 입력 이미지로부터 기하학적 구조, 재질, 조명을 처음부터 재구성할 수 있는 엔드투엔드 역방향 렌더링 파이프라인입니다. 우리의 프레임워크는 광학적 BRDFs(반사율 분포 함수)와 환경 조명을 구면 가우스 혼합으로 표현하며, 기하학적 구조는 MLP(다층 퍼셉트론)로 매개변수화된 부호 거리 함수로 표현합니다. 구면 가우스의 사용은 근사적인 빛 전송 문제를 효율적으로 해결할 수 있게 해주며, 우리의 방법은 자연적이고 정적인 조명 하에서 채집된 도전적인 비람베르 반사 특성을 가진 장면에서도 작동합니다. 우리는 합성 데이터와 실제 데이터를 통해 우리의 재구성이 새로운 시점의 렌더링뿐만 아니라 물리 기반의 재질 및 조명 외관 편집도 가능함을 입증하였습니다.