HyperAIHyperAI

Command Palette

Search for a command to run...

时空自监督表示学习用于3D点云

Siyuan Huang Yichen Xie Song-Chun Zhu Yixin Zhu

摘要

迄今为止,各种三维场景理解任务仍缺乏实用且可泛化的预训练模型,这主要是由于三维场景理解任务的复杂性质以及由相机视角、光照、遮挡等因素引入的巨大变化所致。本文中,我们通过引入一种时空表示学习(Spatio-Temporal Representation Learning, STRL)框架来应对这一挑战,该框架能够在自监督模式下从无标签的三维点云数据中进行学习。受婴儿在自然环境中从视觉数据中学习的启发,我们探索了源自三维数据的丰富时空线索。具体而言,STRL以三维点云序列中的两个时间相关帧作为输入,通过空间数据增强对其进行变换,并以自监督的方式学习不变表示。为了验证STRL的有效性,我们在三种类型的数据集(合成、室内和室外)上进行了广泛的实验。实验结果表明,与监督学习方法相比,所学的自监督表示不仅能够使各种模型达到相当甚至更好的性能,还能够将预训练模型泛化到下游任务中,包括三维形状分类、三维目标检测和三维语义分割。此外,嵌入在三维点云中的时空上下文线索显著提升了所学表示的质量。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供