要約
画像合成は画像処理の最も重要な応用の一つです。しかし、貼り付けられた領域と背景との間の調和の取れていない外観が画像の品質を低下させます。したがって、本研究では画像調和（Image Harmonization）という問題に取り組みます。すなわち、貼り付けられた画像とその貼り付け領域のマスクが与えられたとき、貼り付けられた領域の「スタイル」を背景（非貼り付け領域）と調和させる試みを行います。従来の手法は主にニューラルネットワークによる直接的な学習に焦点を当てていました。本研究では経験的観察から出発します：貼り付けられた画像と調和結果との違いは、同じ意味情報と非貼り付け領域での外観を共有しながら、貼り付けられた領域にのみ見られます。したがって、マスクされた領域とそれ以外の領域で特徴マップを個別に学習するために、新しい注意モジュールである空間分離型注意モジュール（Spatial-Separated Attention Module, S2AM）を提案します。さらに、Unet構造の粗い低レベル特徴量においてS2AMを2つの異なる方法で挿入することにより、新しい画像調和フレームワークを設計しました。画像調和だけでなく、前述の観察に基づいて特定のマスクなしで複合画像を調和させる大きな一歩も踏み出しています。実験結果は、提案されたS2AMが当該タスクにおける他の最先端の注意モジュールよりも優れた性能を示していることを示しています。また、複数の視点からの評価基準を通じて、当モデルが他の最先端の画像調和手法に対して持つ優位性を証明しています。コードはhttps://github.com/vinthony/s2am で公開されています。