17 天前

Trans4Trans:面向真实世界导航辅助中透明物体与语义场景分割的高效Transformer

Jiaming Zhang, Kailun Yang, Angela Constantinescu, Kunyu Peng, Karin Müller, Rainer Stiefelhagen
Trans4Trans:面向真实世界导航辅助中透明物体与语义场景分割的高效Transformer
摘要

透明物体(如玻璃墙和玻璃门)构成了影响低视力或盲人人士行动能力的建筑障碍。例如,玻璃门后方的开放空间在未被正确感知与交互的情况下,通常无法进入。然而,传统辅助技术很少能够有效实现对这类安全关键性透明物体的分割。本文提出一种可穿戴系统,配备一种新颖的双头Transformer透明感知模型(Trans4Trans),能够同时实现对一般物体与透明物体的分割。系统将两个密集分割结果与深度信息融合,帮助用户安全导航,并有效应对透明障碍物。为实现高效特征解析,我们设计了一种轻量级Transformer解析模块(TPM),用于基于Transformer的解码器中进行多尺度特征理解。得益于TPM的设计,双解码器可在对应数据集上实现联合学习,显著提升模型鲁棒性,同时在便携式GPU上保持高效运行,计算开销几乎不增加。整个Trans4Trans模型采用对称的编码器-解码器架构,在Stanford2D3D和Trans10K-v2数据集的测试集上均优于当前最优方法,分别取得45.13%和75.14%的平均交并比(mIoU)。通过在室内外多种场景下开展用户研究及多项预测试,本辅助系统的可用性与可靠性得到了充分验证。此外,Trans4Trans模型在驾驶场景数据集上也表现出色:在涵盖常见环境(Cityscapes)、恶劣天气(ACDC)和交通意外场景(DADA-seg)的多个数据集上,分别取得81.5%、76.3%和39.2%的mIoU,充分展现了其在真实世界交通应用中的高效性与强鲁棒性。

Trans4Trans:面向真实世界导航辅助中透明物体与语义场景分割的高效Transformer | 最新论文 | HyperAI超神经