Refign：悪化した環境へのセマンティックセグメンテーションの適応のためのアライメントと精緻化

悪化した視覚条件下で撮影された画像に対して、密なピクセル単位の意味的ラベル付け（semantic annotations）が極めて不足しているため、こうした画像の意味的セグメンテーションにおける教師なしドメイン適応（Unsupervised Domain Adaptation: UDA）への関心が高まっている。UDAは、通常の環境条件下で学習されたモデルを、ターゲットとなる悪化環境条件下のドメインに適応させる手法である。一方、複数のドライビングシーンを含む複数のデータセットは、同一シーンを異なる条件下で撮影した画像を提供しており、これらはドメイン適応における弱教師信号（weak supervision）として利用可能である。本研究では、こうしたクロスドメイン対応関係を活用する、自己訓練ベースのUDA手法の汎用的拡張手法「Refign」を提案する。Refignは以下の2段階から構成される：（1）不確実性を考慮した高密度マッチングネットワークを用いて、通常条件画像を対応する悪化条件画像にアライメント（整合）する、および（2）適応型ラベル補正機構を用いて、通常条件の予測結果をもとに悪化条件の予測結果を精緻化する。両ステップを効率化するためのカスタムモジュールを設計し、ACDCやDark Zurichを含む複数の悪化条件ベンチマークにおいて、ドメイン適応型意味的セグメンテーションの新記録を達成した。本手法は追加の学習パラメータを一切追加せず、学習時における計算オーバーヘッドも最小限に抑えられる。また、任意の自己訓練ベースのUDA手法に即座に統合可能なドロップイン拡張として利用可能である。コードは以下のURLで公開されている：https://github.com/brdav/refign。