教師なしセマンティックセグメンテーションにおけるアライメントと一様性の再考

教師なし画像意味分割（Unsupervised Image Semantic Segmentation, UISS）は、外部の教師信号を用いずに低レベルの視覚的特徴と意味レベルの表現を一致させることを目的とする。本論文では、UISSモデルにおける特徴のアライメントと特徴の均一性という重要な性質に着目し、UISSと画像単位の表現学習との間で比較分析を行った。その分析に基づき、従来のMI（相互情報量）に基づくUISS手法が表現の崩壊（representation collapse）に悩まされていると指摘する。この問題を解決するために、動的にピクセル単位および意味特徴を生成する新しいモジュール「意味注意（Semantic Attention, SEAT）」を導入した堅牢なネットワーク「意味注意ネットワーク（Semantic Attention Network, SAN）」を提案する。複数の意味分割ベンチマークにおける実験結果から、本研究で提案する教師なし分割フレームワークが意味表現を効果的に捉える能力に優れており、事前学習を行わない手法をすべて上回る性能を発揮するとともに、一部の事前学習済み手法に対しても優位性を示した。