現実の歪み：パノラマ型セマンティックセグメンテーションへの適応のための歪み認識Transformer

360度の方向視野を持つパノラマ画像は、周囲空間に関する包括的な情報を含んでおり、シーン理解のための豊かな基盤を提供する。このような情報を活かすための堅牢なパノラマセグメンテーションモデルを構築するには、大量かつ高価なピクセル単位のアノテーションが不可欠である。現時点でアノテーションは存在するが、主に狭角のピンホールカメラ画像に限られており、そのままパノラマモデルの学習に用いる場合、最適なリソースとはならない。360度パノラマ画像には歪みが生じ、画像特徴の分布も顕著に異なるため、アノテーション豊富なピンホール領域からパノラマ領域への転移が困難となり、性能に大きな損失が生じる。この領域間の差異を克服し、ピンホールカメラと360度周辺視覚からのセマンティックアノテーションを統合するために、本研究では、変形可能なパッチ埋め込み（Deformable Patch Embedding: DPE）および変形可能なMLP（Deformable MLP: DMLP）の構成要素を用いて、物体の変形とパノラマ画像の歪みを学習する手法を提案する。これらは、パノラマセマンティックセグメンテーション用Transformerモデル（Trans4PASS）に統合される。さらに、ピンホール画像とパノラマ画像の特徴埋め込みにおける共有セマンティクスを捉えるため、マルチスケールのプロトタイプ特徴を生成し、それらを相互プロトタイプ適応（Mutual Prototypical Adaptation: MPA）によりアライメントすることで、教師なしドメイン適応を実現する。室内データセットであるStanford2D3Dにおいて、MPAを搭載したTrans4PASSは、完全教師ありの最先端手法と同等の性能を維持しつつ、1,400枚以上のラベル付きパノラマ画像の必要性を大幅に削減した。室外データセットDensePASSでは、mIoUで14.39%の性能向上を達成し、新たな最先端記録（56.38%）を樹立した。コードは、https://github.com/jamycheung/Trans4PASS にて公開予定である。