17 天前
SkyScapes:航空场景的细粒度语义理解
{ Eleonora Vig, Arne Schumann, Lars Sommer, Corentin Henry, Seyed Majid Azimi}

摘要
以厘米级精度理解复杂的都市基础设施,对于自动驾驶、地图绘制、基础设施监测以及城市治理等诸多应用至关重要。航拍图像能够瞬时提供大范围区域的宝贵信息,然而目前尚无任何数据集能够捕捉到真实应用场景所要求的航拍场景细粒度复杂性。为解决这一问题,我们提出了SkyScapes——一个具备高精度、细粒度标注的航拍图像数据集,支持像素级语义标注。SkyScapes包含31个语义类别,涵盖大型结构(如建筑物、道路和植被)以及精细细节(如12个(子)类别的车道线标记)。我们在该数据集上定义了两项主要任务:密集语义分割与多类别车道线预测。我们对当前最先进的分割方法在SkyScapes上的表现进行了广泛实验。结果表明,现有方法难以应对数据集中存在的类别多样性、物体尺寸与尺度差异以及细微结构等挑战。为此,我们提出一种新颖的多任务模型,该模型融合了语义边缘检测机制,并针对多尺度特征提取进行了更优优化。该模型在两项任务中均显著优于基线方法,在区域轮廓精度与细节表现方面取得了明显提升。