2 个月前

地板是平坦的:利用语义进行实时表面法线预测

Steven Hickson; Karthik Raveendran; Alireza Fathi; Kevin Murphy; Irfan Essa
地板是平坦的:利用语义进行实时表面法线预测
摘要

我们提出了4个见解,这些见解有助于显著提升从单张RGB图像预测表面法线和语义标签的深度学习模型的性能。这四个见解包括:(1)对训练集中的“地面真值”表面法线进行去噪,以确保其与语义标签的一致性;(2)同时在真实数据和合成数据的混合数据集上进行训练,而不是先在合成数据上预训练再在真实数据上微调;(3)使用共享模型联合预测法线和语义,但仅对具有有效训练标签的像素反向传播误差;(4)简化模型并使用灰度图像作为输入,而非彩色图像。尽管这些步骤相对简单,但我们展示了在多个数据集上持续改进的结果,并且该模型在标准智能手机上可以达到每秒12帧的运行速度。