17日前

テクスチャ学習ドメインランダム化を用いたドメイン一般化セグメンテーション

Sunghwan Kim, Dae-hwan Kim, Hoseong Kim
テクスチャ学習ドメインランダム化を用いたドメイン一般化セグメンテーション
要約

深層ニューラルネットワーク(DNN)に基づくセマンティックセグメンテーションモデルは、あるソースドメインで学習された後、未観測のターゲットドメインへの一般化が困難であることが多く、いわゆるドメインギャップ問題に直面する。特に、テクスチャはドメインギャップの主要な要因となり得るため、DNNがテクスチャに偏りやすい性質から、ドメインシフトに対して脆弱となる。従来のドメイン一般化セマンティックセグメンテーション(DGSS)手法は、モデルに形状をテクスチャよりも優先させるように導くことで、ドメインギャップの問題を緩和してきた。一方で、形状とテクスチャはセマンティックセグメンテーションにおいて顕著かつ補完的な特徴量である。本論文では、DGSSにおける性能向上のためにテクスチャを有効に活用することが不可欠であると主張する。具体的には、新たなフレームワーク「テクスチャ学習ドメインランダム化(Texture Learning Domain Randomization: TLDR)」を提案する。TLDRは、DGSSにおけるテクスチャ学習を効果的に強化する2つの新しい損失関数を含んでいる。(1)ImageNetで事前学習されたモデルから得られるテクスチャ特徴を用いて、ソースドメインのテクスチャへの過学習を防ぐ「テクスチャ正則化損失」と、(2)ランダムなスタイル画像を用いて自己教師学習の形で多様なテクスチャ表現を学習する「テクスチャ一般化損失」である。広範な実験結果により、提案手法TLDRの優位性が実証された。例えば、ResNet-50を用いたGTAからCityscapesへの移行において、TLDRは46.5 mIoUを達成し、従来の最先端手法を1.9 mIoU向上させた。実装コードは以下のURLから公開されている:https://github.com/ssssshwan/TLDR。

テクスチャ学習ドメインランダム化を用いたドメイン一般化セグメンテーション | 最新論文 | HyperAI超神経