摘要
在点云视频中,点的坐标具有不规则性和无序性,但点的时间戳则表现出规律性和有序性。传统的基于网格的视频处理网络无法直接用于建模原始点云视频。因此,本文提出一种基于点的网络,直接处理原始点云视频。首先,为保持点云视频的时空局部结构,我们设计了一种点管(point tube),该结构沿空间和时间维度覆盖局部范围。通过在逐层传递点特征时逐步对帧和点进行下采样,并随网络深度增加扩大空间半径,点管能够以时空分层的方式捕捉视频的结构特征。其次,为降低空间不规则性对时间建模的影响,我们在提取点管表征时将空间与时间进行解耦。具体而言,采用空间操作来捕获点管内各空间区域的局部结构,同时利用时间操作建模这些空间区域沿时间轴的动态变化。