PSTNet: 포인트 클라우드 시퀀스에서 포인트 공간-시간 컨볼루션

포인트 클라우드 시퀀스는 공간 차원에서 불규칙하고 순서가 없지만, 시간 차원에서는 규칙성과 순서를 보입니다. 따라서, 기존의 격자 기반 컨볼루션은 일반적인 비디오 처리에 사용되지만, 원시 포인트 클라우드 시퀀스의 시공간 모델링에 직접적으로 적용할 수 없습니다. 본 논문에서는 포인트 클라우드 시퀀스의 유용한 표현을 달성하기 위해 포인트 시공간 (PST) 컨볼루션을 제안합니다. 제안된 PST 컨볼루션은 먼저 포인트 클라우드 시퀀스에서 공간과 시간을 분리합니다. 그런 다음, 공간 컨볼루션이 3D 공간 내의 포인트들의 국부 구조를 캡처하는 데 사용되고, 시간 컨볼루션이 시간 차원을 따라 공간 영역들의 역동성을 모델링하는 데 사용됩니다. 또한, 우리는 이 PST 컨볼루션을 계층적으로 포인트 클라우드 시퀀스의 특징을 추출하는 딥 네트워크, 즉 PSTNet에 통합하였습니다. 광범위한 실험을 통해 널리 사용되는 3D 동작 인식 및 4D 의미 분할 데이터셋에서 PSTNet이 포인트 클라우드 시퀀스를 모델링하는 효과성을 입증하였습니다.