HyperAIHyperAI

Command Palette

Search for a command to run...

基于域不变交互关系迁移的跨域语义分割

Guosheng Lin Xiang Chen Tao Liang Fengmao Lv

摘要

近年来,利用高保真度的合成数据训练语义分割模型受到越来越多关注。然而,合成图像与真实图像之间存在的域差异,会导致仅在合成数据上训练的模型直接应用于真实场景时性能显著下降。为此,本文提出一种新型域适应方法——枢轴交互迁移(Pivot Interaction Transfer, PIT)。该方法的核心思想是构建一种跨域共享的公共知识——即“枢轴信息”,作为连接合成域与真实域的桥梁,以促进语义分割模型从合成域向真实域的适应。具体而言,我们首先推断目标域图像的图像级类别信息,并利用该信息辅助实现像素级语义信息的迁移。这一方法基于一个关键假设:图像级类别信息与像素级语义信息之间的交互关系在不同域间具有不变性。为实现这一目标,我们提出一种新颖的多层级区域扩展机制,用于同步对齐图像级与像素级的信息。在从GTAV和SYNTHIA向Cityscapes进行域适应的大量实验中,结果充分验证了所提方法的优越性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供