12일 전
시공간 분해를 통한 포인트 클라우드 비디오의 심층 계층적 표현
{Mohan, Yi; Kankanhalli, Xin; Yang, Hehe; Yu, Fan}
초록
점 클라우드 영상에서 점의 좌표는 비정규적이고 순서가 없지만, 점의 타임스탬프는 규칙성과 순서를 갖는다. 기존의 영상 처리를 위한 격자 기반 네트워크는 원시 점 클라우드 영상을 직접 모델링하는 데 직접적으로 활용될 수 없다. 따라서 본 연구에서는 원시 점 클라우드 영상을 직접 처리할 수 있는 점 기반 네트워크를 제안한다. 먼저, 점 클라우드 영상의 공간-시간적 국소 구조를 유지하기 위해 공간적 및 시간적 차원을 따라 국소 범위를 커버하는 점 튜브(point tube)를 설계한다. 프레임과 점을 점진적으로 하향 샘플링하면서 고수준 계층으로 들어갈수록 공간 반경을 확대함으로써, 점 튜브는 공간-시간적으로 계층적인 방식으로 영상 구조를 포착할 수 있다. 두 번째로, 공간적 비정규성이 시간 모델링에 미치는 영향을 줄이기 위해 점 튜브 표현을 추출할 때 공간과 시간을 분리하여 처리한다. 구체적으로, 튜브 내 각 공간 영역의 국소 구조를 포착하기 위해 공간 연산을 적용하고, 튜브를 따라 공간 영역의 동적 변화를 모델링하기 위해 시간 연산을 사용한다.