17日前
意味的自己適応:1つのサンプルによる汎化能力の向上
Sherwin Bahmani, Oliver Hahn, Eduard Zamfir, Nikita Araslanov, Daniel Cremers, Stefan Roth

要約
ドメイン外一般化の欠如は、セマンティックセグメンテーションにおける深層ネットワークの重大な弱点である。従来の研究では、モデルが静的であるという仮定に依拠しており、すなわち学習プロセスが完了した後は、モデルパラメータがテスト時においても固定されたままとなるという前提であった。本研究では、この前提に挑戦し、入力サンプルごとに推論プロセスを自己適応的に調整するセマンティックセグメンテーション手法を提案する。自己適応は二つのレベルで動作する。第一に、一貫性正則化を用いて、畳み込み層のパラメータを入力画像に合わせて微調整する。第二に、バッチ正規化層では、単一のテストサンプルから導かれる訓練時分布と参照分布の間で補間を行う。これら二つの技術はいずれも文献において広く知られているが、その組み合わせにより、合成データから実データへの一般化を評価するベンチマークにおいて、新たなSOTA(最先端)性能を達成した。実証的な研究結果から、自己適応は、訓練時に既存のモデル正則化手法と併用することで、深層ネットワークのドメイン外データへの一般化能力を向上させる可能性があることが示唆される。本研究のコードおよび事前学習済みモデルは、https://github.com/visinf/self-adaptive にて公開されている。