DISN: 고품질 단일 뷰 3D 재구성을 위한 딥 임PLICIT 표면 네트워크

단일 뷰 이미지에서 3D 형태를 재구성하는 것은 오랜 연구 문제였습니다. 본 논문에서는 DISN(Deep Implicit Surface Network)을 소개합니다. 이 네트워크는 2D 이미지를 통해 고품질의 세부 정보가 풍부한 3D 메시를 생성할 수 있으며, 이를 위해 기저면 거리 필드(signed distance fields)를 예측합니다. DISN은 전역 이미지 특징을 활용하는 것뿐만 아니라, 각 3D 점이 2D 이미지 상에서 투영된 위치를 예측하고, 이미지 특징 맵에서 국소 특징을 추출합니다. 전역과 국소 특징을 결합하면 특히 세부 정보가 풍부한 영역에서 기저면 거리 필드 예측의 정확도가 크게 향상됩니다. 최선의 지식에 따르면, DISN은 단일 뷰 이미지에서 구멍과 얇은 구조와 같은 세부 정보를 일관되게 포착하는 첫 번째 방법입니다. DISN은 합성 및 실제 이미지로부터 다양한 형태 범주를 재구성하는 데 있어 최신 단일 뷰 재구성 성능을 달성하였습니다. 코드는 https://github.com/xharlie/DISN 에서 확인할 수 있으며, 부록은 https://xharlie.github.io/images/neurips_2019_supp.pdf 에서 찾을 수 있습니다.