Pixel2Mesh: 단일 RGB 이미지에서 3D 메시 모델 생성

우리는 단일 컬러 이미지에서 삼각 메시 형태의 3D 모양을 생성하는 엔드투엔드 딥 러닝 아키텍처를 제안합니다. 딥 뉴럴 네트워크의 특성상, 기존 방법들은 3D 모양을 볼륨이나 포인트 클라우드로 표현하며, 이를 더 활용하기 쉬운 메시 모델로 변환하는 것은 쉽지 않습니다. 기존 방법들과 달리, 우리의 네트워크는 그래프 기반 합성곱 신경망에서 3D 메시를 표현하고, 입력 이미지에서 추출한 지각적 특성을 활용하여 타원체를 점진적으로 변형하여 올바른 기하학적 구조를 생성합니다. 우리는 전체 변형 과정을 안정적으로 만드는 코스-투-파인 전략을 채택하였으며, 시각적으로 매력적이며 물리적으로 정확한 3D 기하학적 구조를 보장하기 위해 다양한 메시 관련 손실 함수들을 정의하였습니다. 광범위한 실험 결과, 우리의 방법은 질적으로 더 좋은 세부 정보를 가진 메시 모델을 생성할 뿐만 아니라, 최신 연구와 비교하여 더 높은 3D 모양 추정 정확도를 달성함을 보여주었습니다.