초록
마스킹 오토인코딩은 이미지와 언어 영역에서 자기 지도 학습에 큰 성공을 거두었습니다. 그러나 마스크 기반 사전 학습은 포인트 클라우드 이해에 아직까지 이점을 보여주지 못하고 있으며, 이는 PointNet과 같은 표준 백본이 훈련 중 마스킹으로 인해 발생하는 훈련과 테스트 분포의 불일치를 적절히 처리하지 못하기 때문일 가능성이 높습니다. 본 논문에서는 이러한 격차를 메우기 위해 포인트 클라우드용 차별적 마스크 사전 학습 트랜스포머 프레임워크인 MaskPoint를 제안합니다. 우리의 핵심 아이디어는 포인트 클라우드를 이산 점유값(포인트 클라우드의 일부이면 1, 그렇지 않으면 0)으로 표현하고, 마스크된 객체 포인트와 샘플링된 노이즈 포인트 간의 단순 이진 분류를 대리 작업(proxy task)으로 수행하는 것입니다. 이를 통해 우리의 접근 방식은 포인트 클라우드에서의 포인트 샘플링 변동에 강건하며, 풍부한 표현을 학습하는 것을 촉진합니다. 우리는 3D 형태 분류, 세그멘테이션 및 실제 세계 객체 검출 등 여러 하위 작업에서 사전 학습 모델을 평가하였으며, 기존 최신 트랜스포머 베이스라인보다 상당한 사전 학습 속도 향상(e.g., ScanNet에서 4.1배)을 달성하면서 최신 수준의 결과를 보여주었습니다. 코드는 https://github.com/haotian-liu/MaskPoint에서 확인할 수 있습니다.