要約
画像合成は写真編集において一般的かつ重要な役割を果たしている。写真に似た合成画像を得るためには、前景の外観および視覚的スタイルを背景と整合させる調整が必要となる。従来の深層学習に基づく合成画像の調和化手法は、合成画像から実際の画像へと写像するネットワークを直接学習するが、背景画像と前景画像の間の視覚的スタイルの一貫性について明示的な検討を行わない。本論文では、前景と背景の視覚的スタイルの一貫性を確保するために、画像調和化をスタイル転送問題として捉える。具体的には、背景から得られる視覚的スタイルを明示的に定式化し、それを前景に適応的に適用する、シンプルでありながら効果的な「領域認識型適応的インスタンス正規化（Region-aware Adaptive Instance Normalization: RAIN）」モジュールを提案する。本手法により、既存の画像調和化ネットワークに簡単に組み込むことが可能であり、顕著な性能向上をもたらす。既存の画像調和化ベンチマークデータセットを用いた広範な実験により、提案手法の優れた性能が示された。コードは以下のURLで公開されている：{https://github.com/junleen/RainNet}。