7日前

属性分解型GANを用いた制御可能な人物画像合成

Yifang Men, Yiming Mao, Yuning Jiang, Wei-Ying Ma, Zhouhui Lian
属性分解型GANを用いた制御可能な人物画像合成
要約

本稿では、制御可能な人物画像合成を実現する新たな生成モデル「属性分解GAN(Attribute-Decomposed GAN)」を提案する。このモデルは、様々な入力源から提供された所望の人物属性(例:ポーズ、頭部、上半身衣類、下半身衣類)を用いて、現実的な人物画像を生成可能である。本モデルの核心的なアイデアは、人物属性を潜在空間に独立したコードとして埋め込み、明示的なスタイル表現における混合および補間操作を通じて、属性の柔軟かつ連続的な制御を実現することにある。具体的には、スタイルブロック接続を備えた二つのエンコーディングパスを有する新規アーキテクチャを提案し、元来の困難なマッピングを、より取り組みやすい複数のサブタスクに分解する。ソースパスでは、既存の人体解析器(human parser)を用いてコンポーネントのレイアウトをさらに抽出し、共有のグローバルテクスチャエンコーダに供給することで、分解された潜在コードを生成する。この戦略により、より現実的な出力画像の合成が可能となり、アノテーションのない属性の自動分離も実現される。実験結果から、本手法がポーズ転送において最先端技術を上回る性能を発揮すること、また、新たなタスクであるコンポーネント属性転送においても有効性を示すことが明らかになった。

属性分解型GANを用いた制御可能な人物画像合成 | 最新論文 | HyperAI超神経