MarrNet: 2.5D 스케치를 통한 3D 형태 재구성

단일 이미지로부터 3D 객체 재구성은 매우 결정되지 않은 문제로, 가능한 3D 형태에 대한 강력한 사전 지식이 필요합니다. 이는 학습 기반 접근 방식에 도전을 제기하며, 실제 이미지에서 3D 객체 주석이 부족하기 때문입니다. 이전 연구에서는 지면 진실 3D 정보를 가진 합성 데이터로 훈련하였지만, 실제 데이터에서 테스트할 때 영역 적응 문제에 직면하였습니다. 본 연구에서는 순차적으로 2.5D 스케치와 3D 객체 형태를 추정하는 엔드투엔드 훈련 가능한 모델인 MarrNet을 제안합니다. 우리의 분리된 두 단계 공식화는 세 가지 장점이 있습니다. 첫째, 전체 3D 형태와 비교하여 2.5D 스케치는 2D 이미지로부터 회복하기가 훨씬 쉽습니다; 2.5D 스케치를 회복하는 모델들은 또한 합성 데이터에서 실제 데이터로의 전환이 더 가능성이 높습니다. 둘째, 2.5D 스케치로부터의 3D 재구성을 위해 시스템은 완전히 합성 데이터로부터 학습할 수 있습니다. 이는 실제 이미지에서 객체의 외관 변동(조명, 질감 등)을 모델링하지 않고도 사실적인 2.5D 스케치를 쉽게 렌더링할 수 있기 때문입니다. 이는 영역 적응 문제를 더욱 완화시킵니다. 셋째, 우리는 3D 형태에서 2.5D 스케치로의 미분 가능한 투사 함수를 유도하였습니다; 따라서 프레임워크는 인간 주석 없이 실제 이미지에서 엔드투엔드로 훈련될 수 있습니다. 우리의 모델은 3D 형태 재구성에서 최고 수준의 성능을 달성하였습니다.注释：- "ground truth" 翻译为 "지면 진실"，但通常在科技文献中会直接使用 "그라운드 트루스"。- "end-to-end" 翻译为 "엔드투엔드"，这是常见的科技术语翻译。修正后的翻译：단일 이미지로부터 3D 객체 재구성은 매우 결정되지 않은 문제로, 가능한 3D 형태에 대한 강력한 사전 지식이 필요합니다. 이는 학습 기반 접근 방식에 도전을 제기하며, 실제 이미지에서 3D 객체 주석이 부족하기 때문입니다. 이전 연구에서는 그라운드 트루스(ground truth) 3D 정보를 가진 합성 데이터로 훈련하였지만, 실제 데이터에서 테스트할 때 영역 적응 문제에 직면하였습니다. 본 연구에서는 순차적으로 2.5D 스케치와 3D 객체 형태를 추정하는 엔드투엔드 훈련 가능한 모델인 MarrNet을 제안합니다. 우리의 분리된 두 단계 공식화는 세 가지 장점이 있습니다.첫째, 전체 3D 형태와 비교하여 2.5D 스케치는 2D 이미지로부터 회복하기가 훨씬 쉽습니다; 이를 통해 2.5D 스케치를 회복하는 모델들이 합성 데이터에서 실제 데이터로의 전환이 더 용이해집니다.둘째, 2.5D 스케치로부터의 3D 재구성을 위해 시스템은 완전히 합성 데이터로부터 학습할 수 있습니다. 이는 실제 이미지에서 조명, 질감 등의 객체 외관 변동을 모델링하지 않고도 사실적인 2.5D 스케치를 쉽게 렌더링할 수 있기 때문입니다.셋째, 우리는 미분 가능한 투사 함수(다양한 프로젝션 방법)를 유도하여 3D 형태에서 2.5D 스케치로 변환하였습니다; 따라서 프레임워크는 인간 주석 없이 실제 이미지에서 엔드투엔드로 훈련될 수 있습니다.우리의 모델은 3D 형태 재구성에서 최고 수준의 성능을 달성하였습니다.