HyperAIHyperAI

Command Palette

Search for a command to run...

每个领域背后都存在一种转变:面向全景语义分割的畸变感知视觉Transformer适配方法

Jiaming Zhang Kailun Yang Hao Shi Simon Reiß Kunyu Peng Chaoxiang Ma Haodong Fu Philip H. S. Torr Kaiwei Wang Rainer Stiefelhagen

摘要

本文针对全景语义分割这一研究尚不充分的领域,聚焦于两个关键挑战:(1)全景图像中存在的图像畸变与物体形变问题;(2)360°全景影像中缺乏语义标注。为应对上述挑战,本文提出以下三项核心贡献:首先,我们设计了面向全景语义分割的升级版Transformer模型——Trans4PASS+,其引入了可变形块嵌入(Deformable Patch Embedding, DPE)与可变形MLP(Deformable MLP, DMLPv2)模块,能够有效处理在适应前后任意阶段(适应前或适应后)以及在浅层或深层网络中出现的物体形变与图像畸变问题。其次,我们通过伪标签校正机制对互信息原型自适应(Mutual Prototypical Adaptation, MPA)策略进行增强,以提升无监督域自适应全景语义分割的性能。第三,除传统的针孔相机到全景(Pinhole-to-Panoramic, Pin2Pan)适应范式外,我们构建了一个全新的数据集SynPASS,包含9,080张全景图像,支持从合成到真实的(Synthetic-to-Real, Syn2Real)适应方案在360°影像中的应用。本文开展了大量实验,涵盖室内与室外多种场景,并分别在Pin2Pan与Syn2Real两种适应范式下进行系统评估。实验结果表明,Trans4PASS+在四个域自适应全景语义分割基准上均取得了当前最优的性能表现。代码已开源,地址为:https://github.com/jamycheung/Trans4PASS


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供