クラスバランスの取れたピクセルレベルの自己ラベリングによるドメイン適応型セマンティックセグメンテーション

ドメイン適応セマンティックセグメンテーションは、ソースドメインのデータの監督のもとでモデルを学習させ、ラベルの付いていないターゲットドメインに対して満足のいく密集予測を生成することを目指しています。この課題に対する一般的な解決策の一つが自己訓練であり、これはターゲットサンプルにおける高スコアの予測を選択し、疑似ラベルとして訓練に使用します。しかし、生成された疑似ラベルには多くのノイズが含まれることが多いです。これはモデルがソースドメインや多数派カテゴリに偏っているためです。上記の問題に対処するために、私たちはソースドメインに過度に依存する代わりに、ターゲットドメインデータの内在的なピクセル分布を直接探索することを提案します。具体的には、クラスタリングと疑似ラベルの修正を同時に実行し、得られたクラスタ割り当てを使用します。このプロセスはオンラインで行われるため、追加の訓練ラウンドなしでセグメンテーションモデルと共に疑似ラベルが共進化することができます。長尾カテゴリにおけるクラス不均衡問題を克服するために、分布整合法則（distribution alignment）技術を使用して、クラスタ割り当ての周辺クラス分布が疑似ラベルのそれと近くなるように強制します。提案された手法であるクラスバランス型ピクセルレベル自己ラベリング（Class-balanced Pixel-level Self-Labeling: CPSL）は、特に長尾カテゴリにおいて大幅な性能向上を達成し、ターゲットドメインでのセグメンテーション性能を現行最先端技術よりも大きく改善しました。