SIGNet: 基于语义实例辅助的无监督3D几何感知

无监督学习在几何感知（深度、光流等）方面对自主系统具有重要意义。近年来，无监督学习在几何感知方面取得了显著进展；然而，这些方法通常忽略了物体的一致性，在黑暗和噪声环境中表现较差。相比之下，有监督学习算法虽然稳健，但需要大量的带有标签的几何数据集。本文介绍了一种新的框架——SIGNet，该框架能够在不依赖几何标签的情况下提供稳健的几何感知。具体而言，SIGNet 集成了语义信息，使得深度和光流预测与物体一致，并且在低光照条件下表现出更强的鲁棒性。实验结果表明，与当前最先进的无监督深度预测方法相比，SIGNet 的平方相对误差降低了 30%。特别是在动态物体类别的深度预测中，SIGNet 的性能提高了 39%，在光流预测中提高了 29%。我们的代码将在 https://github.com/mengyuest/SIGNet 上公开发布。