View Inter-Prediction GAN: 3D 형태의 비지도 표현 학습을 위한 전역 형태 메모리를 활용한 국부적 뷰 예측 학습

본 논문에서는 3D 형태에 대한 새로운 비지도 표현 학습 접근법을 제시합니다. 이는 감독 데이터 수집에 필요한 수작업을 피할 수 있으므로 중요한 연구 과제입니다. 우리의 방법은 각 형태의 다중 뷰 상호 예측 작업을 해결하기 위해 RNN 기반 신경망 구조를 훈련시킵니다. 형태의 여러 인접한 뷰가 주어졌을 때, 우리는 뷰 상호 예측을 입력 뷰들 사이의 중앙 뷰를 예측하고, 낮은 수준의 특징 공간에서 입력 뷰들을 재구성하는 작업으로 정의합니다. 우리 접근법의 핵심 아이디어는 각 형태의 모든 지역적 뷰 상호 예측 간에 공유되는 형태 특화 전역 메모리를 통해 형태 표현을 구현하는 것입니다. 직관적으로 이 메모리는 시스템이 각 형태의 뷰 상호 예측 작업을 더 잘 해결하기 위한 유용한 정보를 집계하고, 이를 뷰와 독립적인 형태 표현으로 활용할 수 있게 합니다. 우리의 접근법은 L_2 손실과 적대적 손실의 조합을 사용하여 뷰 상호 예측 작업에서 최상의 결과를 얻습니다. 실험 결과, VIP-GAN은 세 가지 대규모 3D 형태 벤치마크에서 비지도 3D 특징 학습에 있어 최신 방법론보다 우수한 성능을 보임을 확인하였습니다.