Point-GCC: 기하학-색상 대비를 통한 보편적인 자기 지도 3D 환경 사전 학습

포인트 클라우드가 제공하는 기하학적 정보와 색상 정보는 모두 3D 장면 이해에 매우 중요합니다. 이 두 가지 정보는 포인트 클라우드의 서로 다른 측면을 특징화하지만, 기존 방법들은 이러한 차이점과 관련성을 세밀하게 설계하지 못하고 있습니다. 따라서 우리는 포인트 클라우드 정보 간의 관계를 더 잘 활용할 수 있는 3D 자기 지도 학습 패러다임을 탐구합니다. 구체적으로, 우리는 기하학적 정보와 색상 정보를 Siamese 네트워크를 사용하여 정렬하는 Geometry-Color Contrast (Point-GCC)라는 보편적인 3D 장면 사전 학습 프레임워크를 제안합니다.실제 응용 작업을 고려하기 위해, 우리는 (i) 포인트 레벨 대비와 객체 레벨 대비를 기반으로 하는 새로운 딥 클러스터링 모듈을 통해 사전 학습과 다운스트림 작업 사이의 격차를 줄이는 계층적 감독; (ii) 다양한 다운스트림 모델에 적응할 수 있는 아키텍처 독립형 백본을 설계하였습니다. 다운스트림 작업과 연관된 객체 레벨 표현 덕분에, Point-GCC는 모델 성능을 직접 평가할 수 있으며 결과는 우리의 방법론의 효과성을 입증합니다. 다양한 작업에서의 전이 학습 결과 역시 모든 데이터셋에서 일관된 개선을 보여주며, 예를 들어 SUN RGB-D 및 S3DIS 데이터셋에서 새로운 최고 수준의 객체 검출 결과를 얻었습니다. 코드는 https://github.com/Asterisci/Point-GCC 에서 공개될 예정입니다.