포인트 트랜스포머 V2: 그룹화된 벡터 어텐션과 파티셔닝 기반 풀링

3D 포인트 클라우드 이해를 위한 트랜스포머 아키텍처 탐색에 있어 선도적인 작업으로, Point Transformer는 여러 높은 경쟁력이 있는 벤치마크에서 인상적인 성능을 달성하였다. 본 연구에서는 Point Transformer의 한계를 분석하고, 이전 연구의 한계를 극복하는 새로운 설계를 갖춘 강력하고 효율적인 Point Transformer V2 모델을 제안한다. 특히, 기존 벡터 어텐션보다 더 효과적인 그룹 벡터 어텐션을 최초로 제안한다. 학습 가능한 가중치 인코딩과 멀티헤드 어텐션의 장점을 모두 유지하면서, 새로운 그룹화된 가중치 인코딩 레이어를 도입하여 고도로 효과적인 그룹 벡터 어텐션 구현을 제시한다. 또한, 추가적인 위치 인코딩 승수를 통해 어텐션에 대한 위치 정보를 강화한다. 더불어, 공간 정렬 성능을 향상시키고 샘플링 효율을 높이기 위해 새로운 경량 파티션 기반 풀링 방법을 설계하였다. 광범위한 실험을 통해 제안한 모델이 전신 모델 대비 우수한 성능을 보이며, ScanNet v2 및 S3DIS에서의 3D 포인트 클라우드 세그멘테이션, ModelNet40에서의 3D 포인트 클라우드 분류를 포함한 여러 도전적인 3D 포인트 클라우드 이해 벤치마크에서 최신 기술(SOTA) 수준의 성능을 달성함을 확인하였다. 코드는 https://github.com/Gofinge/PointTransformerV2 에 공개될 예정이다.