AllSpark: 変換器を用いた半教師ありセマンティックセグメンテーションにおけるラベルなしデータからの再ラベリング機能

半教師ありセマンティックセグメンテーション（Semi-supervised semantic segmentation, SSSS）は、時間のかかるピクセルレベルの手動ラベリングの負担を軽減するために提案されました。これは、限られた量の教師ありデータと大量の教師なしデータを活用します。現行の最先端手法では、教師ありデータは真値（ground truths）で、教師なしデータは疑似ラベル（pseudo labels）で学習されます。しかし、これらの2つの学習プロセスは分離されており、教師ありデータが学習過程を支配することになり、低品質の疑似ラベルが生成され、その結果として最適でない結果が得られることがあります。この問題を解決するために、私たちはチャネルごとのクロスアテンションメカニズムを使用して教師なし特徴から教師あり特徴を再生成する「AllSpark」を提案します。さらに、セマンティックメモリとチャネルセマンティックグループ戦略を導入し、教師なし特徴が十分に教師あり特徴を表現できるようにしています。AllSparkはフレームワークレベルではなくアーキテクチャレベルでの設計に新しい光を当てており、ますます複雑になる学習パイプライン設計を避けることができます。また、一般的なトランスフォーマーベースのセグメンテーションモデルにシームレスに統合できる柔軟なボトルネックモジュールとしても機能します。提案されたAllSparkはPascal, Cityscapes, COCOベンチマークにおいてすべての評価プロトコルで既存の手法を超える性能を示しており、特別な工夫なくも優れた結果を得ています。コードとモデルの重みは以下のURLから入手可能です: https://github.com/xmed-lab/AllSpark.