Point-JEPA: 포인트 클라우드에서의 자기 지도 학습을 위한 공동 임베딩 예측 아키텍처

최근 포인트 클라우드 영역에서의 자기 감독 학습의 발전은 상당한 잠재력을 보여주고 있습니다. 그러나 이러한 방법들은 긴 사전 학습 시간, 입력 공간에서의 재구성 필요성, 또는 추가적인 모달리티 필요성 등의 단점이 종종 존재합니다. 이러한 문제를 해결하기 위해, 우리는 포인트 클라우드 데이터를 위한 특화된 공동 임베딩 예측 아키텍처인 Point-JEPA를 소개합니다. 이를 위해, 우리는 인덱스 기반으로 타겟과 컨텍스트 선택 시 포인트 클라우드 패치 임베딩들의 근접성을 효율적으로 계산하고 활용할 수 있는 순서화기(sequencer)를 도입하였습니다. 순서화기는 또한 컨텍스트와 타겟 선택 간에 패치 임베딩들의 근접성을 공유하여 계산함으로써 효율성을 더욱 향상시킵니다. 실험 결과, 우리의 방법은 입력 공간에서의 재구성이나 추가적인 모달리티 없이 최신 방법들과 경쟁력 있는 성능을 달성하였습니다.