4ヶ月前

精度が重要:弱い教師付きセマンティックセグメンテーションのための精度を考慮したアンサンブル手法

Junsung Park; Hyunjung Shim
精度が重要:弱い教師付きセマンティックセグメンテーションのための精度を考慮したアンサンブル手法
要約

弱教師付きセマンティックセグメンテーション(WSSS)は、画像レベルのラベルなどの弱い教師データを使用してセグメンテーションモデルを訓練します。最近のWSSS手法では著しい成果が得られていますが、高平均Intersection of Union(mIoU)を持つ弱ラベルを導入しても、必ずしも高いセグメンテーション性能が保証されるわけではありません。既存の研究では、全体的な性能向上のために精度の優先とノイズ削減の重要性が強調されています。同様に、我々はORANDNetという進歩したアンサンブルアプローチを提案します。ORANDNetは、2つの異なる分類器から得られるクラス活性化マップ(CAMs)を組み合わせることで疑似マスク(PMs)の精度を向上させます。さらに、PMs内の小さなノイズを軽減するためにカリキュラム学習を取り入れています。これは、セグメンテーションモデルを最初に小さなサイズの画像と対応するPMsのペアで訓練し、徐々に元のサイズのペアへ移行するプロセスです。ResNet-50とViTのオリジナルCAMsを組み合わせることで、単一最適モデルや単純なアンサンブルモデルよりも大幅にセグメンテーション性能が向上しました。さらに、我々のアンサンブル手法をAMN(ResNet風)とMCTformer(ViT風)モデルからのCAMsにも拡張し、先進的なWSSSモデルでの性能向上を達成しています。これらの結果は、ORANDNetがWSSSモデルの最終追加モジュールとしての潜在能力を示しています。