TextureGAN: テクスチャパッチを使用した深層画像合成の制御

本論文では、スケッチ、色、およびテクスチャによってガイダンスされる深層画像合成を調査します。従来の画像合成手法はスケッチと色彩ストロークによって制御可能でしたが、我々は初めてテクスチャ制御を検討します。ユーザーが任意の位置とスケールでスケッチ上にテクスチャパッチを配置し、望ましい出力テクスチャを制御できるようにしています。生成ネットワークは、これらのテクスチャ提案に一致する物体を合成することを学習します。これを達成するために、対抗的損失（adversarial loss）とコンテンツ損失（content loss）に加えて、局所テクスチャ損失（local texture loss）を開発して生成ネットワークの訓練を行います。実際の画像から生成されたスケッチと別個のテクスチャデータベースからサンプリングされたテクスチャを使用して実験を行い、結果は我々が提案したアルゴリズムがユーザーの制御に忠実な合理的な画像を生成できることを示しています。アブレーションスタディでは、既存の手法を直接適用するよりも現実的な画像を生成できることが確認されました。