PatchRefineNet: 最適なパッチごとの二値化からの信号を組み合わせてバイナリセグメンテーションを改善する

二値セグメンテーションモデルの目的は、どのピクセルが興味のある物体に属するかを決定することである（例えば、画像中のどのピクセルが道路の一部であるか）。これらのモデルは各ピクセルにロジットスコア（つまり、確率）を割り当て、閾値処理によって予測に変換される（つまり、ロジットスコアが $\geq τ$ の各ピクセルは道路の一部と予測される）。しかし、現在および過去の最先端セグメンテーションモデルで一般的な現象として空間的なバイアスがある——ある領域ではロジットスコアが一貫して上方にバイアスされ、他の領域では下方にバイアスされる。これらのバイアスは最終的な予測において偽陽性と偽陰性を引き起こす。本論文では、ベースとなるセグメンテーションモデルの上に置かれる小さなネットワークであるPatchRefineNet (PRN) を提案する。PRN はパッチ固有のバイアスを修正することを学習する。多様なベースモデルに対して PRN は一貫して mIoU を 2-3% 改善する。PRN の背後にある重要なアイデアの一つは、訓練中に新しい教師信号を追加することである。ベースセグメンテーションモデルによって生成されたロジットスコアに基づいて、各画像パッチ内で最適な閾値処理を行った結果得られる疑似ラベルが各ピク塞尔に割り当てられる。これらの疑似ラベルを PRN の損失関数に組み込むことで、系統的なバイアスを修正し、偽陽性と偽陰性を削減することが可能となる。我々は主に二値セグメンテーションに焦点を当てるが、PRN をサリエンシーディテクションや少ショットセグメンテーションへの拡張方法も示す。また、これらのアイデアがマルチクラスセグメンテーションへの拡張方法についても議論する。