3ヶ月前

DSP:教師なしドメイン適応型セマンティックセグメンテーションのためのデュアルソフトペースト

Li Gao, Jing Zhang, Lefei Zhang, Dacheng Tao
DSP:教師なしドメイン適応型セマンティックセグメンテーションのためのデュアルソフトペースト
要約

セマンティックセグメンテーションにおける教師なしドメイン適応(UDA)は、ラベル付きのソースドメインで学習されたセグメンテーションモデルを、ラベルなしのターゲットドメインに適応させることを目的としている。従来の手法は、ドメイン不変特徴を学習することを目指しているが、特に初期学習段階において大きなドメインギャップが存在するため、不一致な特徴の正確なアライメントが困難であるという課題に直面している。本論文では、この問題に対処するため、新たな「デュアルソフトペースト(Dual Soft-Paste, DSP)」手法を提案する。具体的には、DSPは、長尾クラスを優先的にサンプリングする戦略に基づき、ソースドメイン画像から特定のクラスを抽出し、融合重みを用いてその対応する画像パッチをソースおよびターゲットの学習画像の両方にソフトに貼り付ける。技術的には、ドメイン適応にための「ミーンティーチャー(Mean Teacher)」フレームワークを採用し、貼り付けられたソースおよびターゲット画像は学生ネットワーク(student network)を経由する一方、元のターゲット画像は教師ネットワーク(teacher network)を経由する。出力レベルのアライメントは、両ネットワークから得られるターゲット融合画像の確率マップを、重み付き交差エントロピー損失を用いて一致させる。さらに、特徴レベルのアライメントは、学生ネットワークから得られるソースおよびターゲット画像の特徴マップを、重み付き最大平均差分(Weighted Maximum Mean Discrepancy, WMMD)損失を用いて一致させる。DSPは中間ドメインからのドメイン不変特徴の学習を促進し、収束速度の向上および性能の向上を実現する。2つの困難なベンチマークでの実験により、DSPが最先端手法を上回る優位性を示した。コードは以下のURLで公開されている:\url{https://github.com/GaoLii/DSP}。