3ヶ月前

視野外への転移:教師なしドメイン適応を用いた高密度パノラマセマンティックセグメンテーション

Jiaming Zhang, Chaoxiang Ma, Kailun Yang, Alina Roitberg, Kunyu Peng, Rainer Stiefelhagen
視野外への転移:教師なしドメイン適応を用いた高密度パノラマセマンティックセグメンテーション
要約

自律走行車は360度センサーによる拡大された視野(FoV)の恩恵を明確に受けるが、現在のセマンティックセグメンテーション手法は、パノラマ画像に対してはほとんど入手できないアノテーション付き学習データに大きく依存している。本研究ではドメイン適応の観点からこの問題に取り組み、ラベル付き学習データが従来のピンホールカメラ画像の異なる分布から得られる設定において、パノラマセマンティックセグメンテーションを実現することを目的とする。この目的を達成するため、パノラマセマンティックセグメンテーションにおける教師なしドメイン適応のタスクを明確に定式化し、ピンホールカメラ画像から得られるデータ(Cityscapesより抽出)とパノラマ画像間のドメインシフトを研究する目的で、新たに密集アノテーションが施されたデータセットDensePASSを構築した。DensePASSは、ラベル付きおよびラベルなしの360度画像をカバーしており、ラベル付きデータは19のクラスを含み、これらは元の(ピンホールカメラを含む)ドメインに存在するカテゴリに明示的に適合している。データ駆動型モデルはデータ分布の変化に対して特に脆弱であるため、ドメインの乖離に対処するため、出力空間、特徴空間、および特徴信頼度空間における転移を可能にする、注意機構を拡張したドメイン適応モジュールの複数のバリエーションを備えた汎用フレームワークP2PDAを提案する。P2PDAは、注意ヘッドを用いてリアルタイムで調整される信頼度値を活用した不確実性を考慮した適応と、不一致な予測を組み合わせることで、ドメイン対応関係を学習する際にコンテキストの交換を促進する。このフレームワークにより、精度重視および効率重視のモデルにおける適応性能が著しく向上する。包括的な実験により、本フレームワークが教師なしドメイン適応手法および専用のパノラマセグメンテーション手法を明確に上回ることを確認した。