MVTN: 다중 시점 변환 네트워크를 이용한 3D 형태 인식

다중 시점 투영 방법은 3차원 형태 인식에서 최신 수준의 성능을 달성할 수 있는 능력을 입증해 왔습니다. 이러한 방법들은 여러 시점에서 정보를 집계하는 다양한 방식을 학습합니다. 그러나 이들 시점은 보통 모든 형태에 대해 직관적으로 설정되고 고정됩니다. 현재 다중 시점 방법들의 동적 부족을 해결하기 위해, 우리는 이러한 시점을 학습하는 것을 제안합니다. 특히, 3차원 형태 인식을 위한 최적의 시점을 회귀하는 Multi-View Transformation Network (MVTN)을 소개하며, 이는 미분 가능한 렌더링 기술의 발전을 바탕으로 합니다. 결과적으로 MVTN은 3차원 형태 분류를 위한 어떤 다중 시점 네트워크와도 함께 끝까지 학습될 수 있습니다. 우리는 3D 메시 또는 포인트 클라우드를 렌더링할 수 있는 새로운 적응형 다중 시점 파이프라인에 MVTN을 통합했습니다. MVTN은 추가적인 학습 감독 없이도 3차원 형태 분류 및 3차원 형태 검색 작업에서 명확한 성능 향상을 보여주며, ModelNet40, ShapeNet Core55, 그리고 가장 최근이고 현실적인 ScanObjectNN 데이터셋에서 최고 수준의 성능을 달성했습니다(최대 6% 개선). 흥미롭게도, 우리는 또한 MVTN이 3차원 영역에서 회전과 가림에 대한 네트워크의 강건성을 제공할 수 있음을 보여주었습니다. 코드는 https://github.com/ajhamdi/MVTN 에서 확인할 수 있습니다.