CorrNet3D: 3D 포인트 클라우드를 위한 감독되지 않은 엔드투엔드 밀도 대응 학습

두 개의 정렬된 포인트 클라우드를 서로 변환하는 것이 비정렬된 쌍보다 더 쉽고 의미 있게 이루어질 수 있다는 직관에 착안하여, 우리는 주석이 필요 없는 데이터 학습을 극복하기 위한 변형 유사 재구성을 통해 3D 형태 간의 밀집 대응 관계 학습을 이끄는 첫 번째 비지도 및 엔드투엔드 딥러닝 기반 프레임워크인 CorrNet3D를 제안합니다. 구체적으로, CorrNet3D는 깊은 특성 임베딩 모듈과 대응 지표(correspondence indicator) 및 대칭 변형기(symmetric deformer)라는 두 가지 새로운 모듈로 구성됩니다. 원시 포인트 클라우드 쌍을 입력으로 받으면, 우리의 모델은 먼저 점별 특성을 학습하고 이를 지표에 전달하여 입력 쌍을 순서대로 재배치하는 데 사용되는 학습 가능한 대응 행렬을 생성합니다. 추가적인 규제 손실(regularized loss)이 적용된 대칭 변형기는 두 개의 재배치된 포인트 클라우드를 서로 변환하여 대응 관계의 비지도 학습을 이끌어냅니다. 강체와 비강체 3D 형태의 합성 및 실제 데이터셋에 대한 광범위한 실험 결과, CorrNet3D가 메시(meshes)를 입력으로 사용하는 방법들을 포함하여 최신 기법들보다 크게 우수함이 입증되었습니다. 또한, CorrNet3D는 주석이 있는 데이터가 제공될 경우 쉽게 감독 학습으로 적응할 수 있는 유연한 프레임워크입니다. 소스 코드와 사전 훈련된 모델은 https://github.com/ZENGYIMING-EAMON/CorrNet3D.git에서 제공될 예정입니다.