17日前

BargainNet:背景ガイドドドメイン変換を用いた画像ハーモナイズation

Wenyan Cong, Li Niu, Jianfu Zhang, Jing Liang, Liqing Zhang
BargainNet:背景ガイドドドメイン変換を用いた画像ハーモナイズation
要約

画像合成は画像編集分野における基本的な操作である。しかし、前景と背景の調和が取れていないと、合成画像の品質が低下する。前景を調整して背景との一貫性を高める画像調和(image harmonization)は、必須でありながらも困難なタスクである。従来の深層学習に基づく手法は、合成画像から実画像への直接的なマッピングを学習することに主眼を置いてきたが、背景が果たす重要な指導的役割を無視していた。本研究では、前景が背景と同一のドメインに変換されるべきであるという仮定の下、画像調和を「背景誘導型ドメイン変換」として定式化する。これにより、新たなドメインコード抽出器と適切に設計された三重損失(triplet losses)を備えた画像調和ネットワークを提案する。このネットワークは、背景のドメイン情報を捉え、前景の調和に導くことができる。既存の画像調和ベンチマークにおける広範な実験により、本手法の有効性が示された。コードは https://github.com/bcmi/BargainNet で公開されている。