Point2Vec을 이용한 포인트 클라우드의 자기 지도 표현 학습

최근, 자기 지도 학습 프레임워크인 data2vec는 마스킹된 학생-교사 접근법을 사용하여 다양한 모달에서 뛰어난 성능을 보여주었습니다. 그러나 이러한 프레임워크가 3D 포인트 클라우드의 고유한 도전 과제에 일반화되는지 여부는 아직 열려 있는 문제입니다. 이 질문에 답하기 위해, 우리는 data2vec를 포인트 클라우드 영역으로 확장하고 여러 다운스트림 작업에서 긍정적인 결과를 보고합니다. 깊이 있는 분석을 통해 위치 정보의 유출이 중증도 높은 마스킹 조건에서도 학생에게 전체 객체 형태를 드러내어, data2vec가 포인트 클라우드에 대한 강력한 표현을 학습하는 것을 방해한다는 사실을 발견했습니다. 이 3D 특유의 단점을 해결하기 위해, 우리는 point2vec를 제안하여 data2vec와 유사한 사전 학습의 전반적인 잠재력을 포인트 클라우드에서 발휘할 수 있도록 하였습니다. 우리의 실험 결과는 point2vec가 ModelNet40과 ScanObjectNN에서 형상 분류 및 소수 샘플 학습(few-shot learning)에서 다른 자기 지도 방법들을 능가하며, ShapeNetParts에서 부품 세분화(part segmentation) 작업에서도 경쟁력 있는 성능을 달성함을 보여줍니다. 이러한 결과들은 학습된 표현들이 강력하고 전이 가능하다는 것을 시사하며, point2vec가 포인트 클라우드 표현의 자기 지도 학습에 있어 유망한 방향임을 강조합니다.