HyperAIHyperAI

Command Palette

Search for a command to run...

通过适应实现泛化:基于扩散的领域泛化语义分割领域扩展

Joshua Niemeijer Manuel Schwonberg Jan-Aike Termöhlen Nico M. Schmidt Tim Fingscheidt

摘要

当模型(例如用于语义分割的模型)应用于与训练数据差异显著的图像时,其性能会显著下降。领域自适应方法试图缓解这一问题,但通常需要目标域的样本数据。然而,由于种种原因,获取目标域真实样本并不总是可行,因此领域泛化方法显得尤为重要,因为它们无需依赖任何目标域数据。本文提出一种基于扩散模型的新型领域扩展方法(Diffusion-based Domain Extension, DIDEX),利用扩散模型结合多样化的文本提示生成伪目标域图像。与现有方法相比,该方法能够有效控制生成图像的风格与内容,并引入高度多样性。在第二阶段,我们通过将模型向该伪目标域进行适应,训练出具备强泛化能力的模型。实验结果表明,该方法在多个数据集和网络架构上均显著超越此前的先进方法,且完全不使用真实目标域数据。在从GTA5到Cityscapes的泛化任务中,平均mIoU指标提升3.8个百分点;在SYNTHIA数据集上更是实现11.8个百分点的绝对提升,标志着该类基准测试中泛化性能的重要进展。相关代码已开源,地址为:https://github.com/JNiemeijer/DIDEX


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供