17日前

Trans4Trans:視覚障がい者が現実世界を移動するのを支援するための透明物体セグメンテーション向け効率的Transformer

Jiaming Zhang, Kailun Yang, Angela Constantinescu, Kunyu Peng, Karin Müller, Rainer Stiefelhagen
Trans4Trans:視覚障がい者が現実世界を移動するのを支援するための透明物体セグメンテーション向け効率的Transformer
要約

一般的な全ガラス張りの外壁や透明な物体は、視覚障害者や低視力を持つ人々の移動を妨げる建築上の障壁となり得ます。たとえば、ガラスドアの向こうに存在する通路が正しく認識されない限り、その道は利用不可能となります。しかし、こうした安全上重要な透明物体のセグメンテーションは、従来の補助技術ではほとんどカバーされていません。この課題に対処するため、本研究では、一般物体および透明物体のセグメンテーションが可能な新規の二重出力Transformerモデル「Trans4Trans」を搭載したウェアラブルシステムを構築しました。このシステムは、リアルタイムでの経路案内機能を備え、単独での歩行をより安全に支援します。特に、提案するTransformerパーシングモジュール(TPM)によって構成された二つのデコーダーは、異なるデータセットからの効果的な共同学習を可能にしています。また、対称的なTransformerベースのエンコーダとデコーダから構成される効率的なTrans4Transモデルは、計算リソースをほとんど消費せず、ポータブルGPUへの容易なデプロイが実現可能です。Trans4Transモデルは、Stanford2D3DおよびTrans10K-v2データセットのテストセットにおいて、最先端の手法を上回る性能を達成し、それぞれmIoU 45.13%および75.14%を記録しました。屋内および屋外のさまざまな前実験およびユーザースタディを通じて、本補助システムの使いやすさと信頼性が広範に検証されました。

Trans4Trans:視覚障がい者が現実世界を移動するのを支援するための透明物体セグメンテーション向け効率的Transformer | 最新論文 | HyperAI超神経