2 个月前

从航拍图像预测地面场景布局

Zhai, Menghua ; Bessinger, Zachary ; Workman, Scott ; Jacobs, Nathan
从航拍图像预测地面场景布局
摘要

我们提出了一种新颖的学习策略,用于从航拍图像中提取语义上有意义的特征。与传统的手动标注航拍图像不同,我们建议自动预测从共位地面图像中提取的(带噪声的)语义特征。我们的网络架构以航拍图像作为输入,利用卷积神经网络提取特征,然后应用自适应变换将这些特征映射到地面视角。我们采用端到端学习方法,最小化直接从地面图像中提取的语义分割与仅基于航拍图像预测的语义分割之间的差异。实验表明,使用该策略训练的模型在无需额外训练的情况下已经能够对航拍图像进行粗略的语义标注。此外,我们还展示了通过微调该模型可以实现比两种基线初始化策略更准确的语义分割。我们利用该网络解决了估计地面图像地理位置和地理朝向的任务。最后,我们展示了如何利用从航拍图像中提取的特征生成一个合理的地面全景图。

从航拍图像预测地面场景布局 | 最新论文 | HyperAI超神经