自己蒸留を用いた室内360°セマンティックセグメンテーションにおける補完的双方向特徴圧縮

近年、投影に基づく手法と比較して、水平方向に表現するパノラマセマンティックセグメンテーション手法が優れた性能を発揮している。その理由は、球面データを垂直方向に圧縮することで歪みを効果的に除去できるためである。しかし、これらの手法は歪みの分布に関する事前知識を無視しており、受容領域の不均衡という制約に直面している。具体的には、垂直方向には十分な受容領域が確保される一方で、水平方向の受容領域が不足するという問題が生じる。これに対して、別の方向に垂直表現を圧縮することで、歪みに関する暗黙の事前知識を獲得でき、水平方向の受容領域を拡大することが可能となる。本論文では、この二つの異なる表現を統合し、補完的な視点から新たな360°セマンティックセグメンテーション手法を提案する。提案手法のネットワークは、特徴抽出モジュール、双方向圧縮モジュール、アンサンブルデコードモジュールの3つのモジュールから構成される。まず、パノラマ画像からマルチスケールの特徴を抽出する。次に、双方向圧縮モジュールを設計し、特徴を二つの補完的な低次元表現に圧縮することで、コンテンツの認識能力と歪みに関する事前知識の両方を提供する。さらに、双方向特徴の融合を促進するため、アンサンブルデコードモジュール内で独自の自己蒸留（self-distillation）戦略を導入し、異なる特徴間の相互作用を強化することで、性能のさらなる向上を実現している。実験結果から、本手法は定量評価において最先端手法を少なくとも10%以上上回り、視覚的外観においても最良の性能を示した。