다중 각도 포인트 클라우드-VAE: 다중 각도에서의 3D 포인트 클라우드에 대한 공동 자기 재구성 및 반대 예측을 통한 비지도 특징 학습

비지도 특성 학습은 대규모 포인트 클라우드 이해에 있어 중요한 역할을 해왔습니다. 최근의 딥 러닝 기반 방법들은 자기 재구성을 통해 전역 기하학을 학습하는 데 의존하고 있습니다. 그러나 이러한 방법들은 여전히 국소 기하학의 효과적인 학습에 어려움을 겪고 있으며, 이는 학습된 특성의 판별력을 크게 제한하고 있습니다. 이 문제를 해결하기 위해, 우리는 전역 및 국소 자기 감독을 동시에 활용하여 전역과 국소 기하학의 학습을 가능하게 하는 MAP-VAE를 제안합니다. 효과적인 국소 자기 감독을 위해, 우리는 포인트 클라우드에 대한 다각도 분석을 도입하였습니다. 다각도 시나리오에서, 먼저 각각의 각도에서 포인트 클라우드를 앞쪽 절반과 뒤쪽 절반으로 나눕니다. 그런 다음, MAP-VAE를 훈련시켜 해당 앞쪽 절반 시퀀스로부터 뒤쪽 절반 시퀀스를 예측하도록 합니다. MAP-VAE는 RNN을 사용하여 각 국소 기하학과 그것들 사이의 공간적 관계를 동시에 학습하면서 이 절반 간 예측을 수행합니다. 또한, MAP-VAE는 자기 재구성을 통해 전역 기하학도 학습하며, 여기서 변분 제약 조건을 사용하여 새로운 형태 생성을 촉진합니다. 네 가지 형태 분석 작업에서 우수한 결과가 나타났으며, 이는 MAP-VAE가 최신 방법론보다 더 판별력 있는 전역 또는 국소 특성을 학습할 수 있음을 보여줍니다.