포인트 4D 트랜스포머 네트워크를 통한 포인트 클라우드 비디오에서의 시공간 모델링

점 클라우드 영상은 공간 차원에서 불규칙성과 순서의 결여를 보이며, 프레임 간에 점들이 일관되지 않게 나타나는 특징을 갖는다. 점 클라우드 영상의 동적 특성을 포착하기 위해 일반적으로 점 추적(point tracking) 기법이 사용된다. 그러나 점들이 프레임 간에 유입 및 유출되는 특성으로 인해 정확한 점 궤적을 계산하는 것은 매우 어렵다. 더불어 추적 기법은 점의 색상에 의존하는 경우가 많아 색이 없는 점 클라우드 처리에 한계가 있다. 본 논문에서는 점 추적을 피하기 위해 원시 점 클라우드 영상을 모델링할 수 있는 새로운 Point 4D Transformer(P4Transformer) 네트워크를 제안한다. 구체적으로 P4Transformer는 (i) 점 클라우드 영상 내에 존재하는 시공간적 국소 구조를 임베딩하기 위한 점 4D 컨볼루션과 (ii) 임베딩된 국소 특징에 대해 자기 주의(self-attention)를 수행함으로써 전 영상에 걸쳐 외관 및 운동 정보를 포착하는 트랜스포머로 구성된다. 이러한 방식으로, 관련되거나 유사한 국소 영역들이 명시적인 추적 없이 주의 가중치를 통해 병합된다. 네 가지 벤치마크에서 실시한 광범위한 실험, 특히 3D 행동 인식과 4D 세분화(semantic segmentation)를 통해 P4Transformer가 점 클라우드 영상 모델링에 효과적임을 입증하였다.