Sem2NeRF: 단일 뷰 세マン틱 마스크를 신경 방사광 필드로 변환하기

이미지 변환 및 조작은 딥 제너레이티브 모델의 급속한 발전과 함께 점차 주목을 받고 있습니다. 기존 접근법들은 인상적인 결과를 가져왔지만, 주로 2D 공간에서 작동하였습니다. 최근 NeRF(신경 렌더링 필드) 기반 3D 인식 제너레이티브 모델의 발전에 따라, 우리는 단일 뷰 시맨틱 마스크를 입력으로 사용하여 NeRF로 모델링된 3D 장면을 재구성하는 새로운 작업인 '시맨틱-투-NeRF 변환'을 소개합니다. 이 혁신적인 작업을 시작하기 위해, 우리는 Sem2NeRF 프레임워크를 제안합니다. 특히, Sem2NeRF는 시맨틱 마스크를 사전 학습된 디코더의 3D 장면 표현을 제어하는 잠재 코드로 인코딩하여 이 고난도 작업을 해결합니다. 매핑의 정확성을 더욱 향상시키기 위해, 인코더와 디코더 설계에 새로운 지역 인식 학습 전략을 통합하였습니다. 우리는 제안된 Sem2NeRF의 유효성을 검증하고, 두 벤치마크 데이터셋에서 여러 강력한 베이스라인보다 우수한 성능을 보이는 것을 입증하였습니다. 코드와 비디오는 https://donydchen.github.io/sem2nerf/ 에서 확인할 수 있습니다.