DHR: クラス間およびクラス内領域における双方向特徴駆動型階層再平衡化を用いた弱教師付きセマンティックセグメンテーション

弱教師ありセマンティックセグメンテーション（WSS）は、限られたデータで高品質なセグメンテーションを確保し、Segment Anythingなどの大規模ビジョンモデルの入力シードマスクとして使用される際には優れた性能を発揮します。しかし、WSSは複数のクラスが隣接する画像において少数クラスが見落とされるという課題に直面しています。これは、Random Walkなどの従来の拡張手法による過学習から生じる制約です。まず、この問題に対処するために、無教師および弱教師あり特徴マップを使用することを提案します。これにより階層的なマスク強化が可能になります。この方法は、上位レベルのクラスを明確に分類し、その後関連する下位レベルのクラスを分離することで、すべてのクラスがマスク内で正しく復元され、少数クラスが失われることなく保たれます。我々のアプローチは広範な実験を通じて検証され、5つのベンチマーク（VOC: 79.8％, COCO: 53.9％, Context: 49.0％, ADE: 32.9％, Stuff: 37.4％）においてWSSの性能を大幅に向上させました。特にVOCバリデーションセットでは完全教師あり手法との差を84％以上縮めています。コードはhttps://github.com/shjo-april/DHRで入手可能です。