2 个月前

MRFP:从模拟到现实的多分辨率特征扰动中学习泛化的语义分割

Udupa, Sumanth ; Gurunath, Prajwal ; Sikdar, Aniruddh ; Sundaram, Suresh
MRFP:从模拟到现实的多分辨率特征扰动中学习泛化的语义分割
摘要

深度神经网络在源域的语义场景理解任务中表现出色,但由于训练过程中缺乏风格多样性,仅使用单一源域数据来提升未见过的目标域性能仍然是一个具有挑战性的任务。生成模拟数据是一种可行的替代方案,用于获取大规模且风格多样的真实世界数据集,因为后者是一个繁琐且成本高昂的过程。然而,模拟数据与真实世界数据之间存在的较大领域特定差异对语义分割中的泛化能力构成了重大挑战。在这项工作中,为了解决这一问题,我们提出了一种新颖的多分辨率特征扰动(MultiResolution Feature Perturbation, MRFP)技术,该技术通过随机化领域特定的细粒度特征并扰动粗粒度特征的风格来减少这种差异。我们在多个城市场景分割数据集上的实验结果清楚地表明,除了风格信息的扰动外,细粒度特征组件的扰动对于学习语义分割模型中的领域不变鲁棒特征图至关重要。MRFP 是一个简单且计算效率高的可转移模块,无需额外的学习参数或目标函数即可帮助最先进的深度神经网络学习鲁棒的领域不变特征,从而实现从模拟到真实的语义分割。

MRFP:从模拟到现实的多分辨率特征扰动中学习泛化的语义分割 | 最新论文 | HyperAI超神经