8 天前

EDAPS:增强型领域自适应全景分割

Suman Saha, Lukas Hoyer, Anton Obukhov, Dengxin Dai, Luc Van Gool
EDAPS:增强型领域自适应全景分割
摘要

随着自动驾驶等自主产业的快速发展,视觉感知模块的域适应(domain adaptation)成为一项极具研究价值的方向,因其在降低实际部署成本方面具有显著潜力。以往研究多聚焦于从合成数据到真实场景(synthetic-to-real)环境下的语义分割域适应问题。然而,作为感知模块的关键输出之一,全景分割(panoptic segmentation)却长期被域适应领域所忽视。为此,本文重新审视其他领域中表现优异的域适应策略,并将其适配至全景分割任务,实证表明这些方法能够有效提升全景域适应性能。此外,本文深入研究了全景分割网络架构设计,提出一种专为域适应场景优化的新型网络结构——EDAPS(Efficient Domain-Adaptive Panoptic Segmentation)。该架构采用共享的、具备域鲁棒性的Transformer编码器,以协同促进语义特征与实例特征的联合域适应;同时,设计了针对不同任务需求的特定解码器,分别满足域适应语义分割与实例分割的差异化要求。实验结果表明,该方法显著缩小了在复杂全景分割基准测试中性能差距。在SYNTHIA→Cityscapes和更具挑战性的SYNTHIA→Mapillary Vistas两个基准上,EDAPS分别将当前最优的无监督域适应(UDA)全景分割性能提升了20%和高达72%。相关代码已开源,可通过 https://github.com/susaha/edaps 获取。