Contrast with Reconstruct: 생성적 사전 학습에 의해 안내되는 대조적 3D 표현 학습

주류 3D 표현 학습 접근법은 대조적 또는 생성 모델링 사전 작업을 기반으로 하며, 이로 인해 다양한 후속 작업에서 성능이 크게 향상되었습니다. 그러나 우리는 이 두 패러다임이 서로 다른 특성을 가지고 있다는 것을 발견했습니다: (i) 대조적 모델은 데이터에 과도하게 의존하여 표현 과적합 문제를 겪습니다; (ii) 생성 모델은 데이터 채우기 문제를 가지고 있으며, 대조적 모델과 비교하여 열등한 데이터 확장 능력을 보입니다. 이러한 점들이 우리에게 두 패러다임의 장점을 공유하여 3D 표현을 학습하는 동기를 부여합니다. 하지만 두 패러다임 간의 패턴 차이 때문에 이를 단순히 수행하는 것은 쉽지 않습니다. 본 논문에서는 이러한 두 패러다임을 통합하는 '재구성과 대조(ReCon)' 방법을 제안합니다. ReCon은 생성 모델링 교사와 단일/교차 모달 대조 교사를 통해 앙상블 디스틸레이션을 수행하여 학습되며, 여기서 생성 학생이 대조 학생을 안내합니다. 또한, 전방향-후방향 구조의 ReCon 블록이 제안되어 크로스 어텐션이 적용되고 그래디언트 중단(stop-gradient)을 통해 지식을 전달하며, 사전 학습 과적합 및 패턴 차이 문제를 피할 수 있습니다. ReCon은 3D 표현 학습에서 새로운 최고 수준의 성능을 달성하였으며, 예를 들어 ScanObjectNN에서 91.26%의 정확도를 기록하였습니다. 코드는 https://github.com/qizekun/ReCon 에서 제공됩니다.