要約
本稿では、ポーズ誘導型の人物画像生成およびバーチャルトライオンのための服を着た人物の合成を目的として、外見フロー（appearance-flow）に基づく生成モデル「ClothFlow」を提案する。本モデルは、元画像とターゲット画像の衣類領域間における密なフローを推定することで、幾何変形を効果的にモデル化し、自然な外見の転送を実現し、図1に示すように新たな画像を合成する。この目的を達成するために、三段階のフレームワークを採用している。1）まず、ターゲットポーズを条件として、人物のセマンティックレイアウトを推定し、生成プロセスにより豊かなガイダンスを提供する。2）2つの特徴ピラミッドネットワークを基盤とするカスケード型フロー推定ネットワークにより、対応する衣類領域間の外見マッチングを高精度で推定する。得られた密なフローにより、元画像が変形を柔軟に扱えるようにワープされる。3）最後に、生成ネットワークがワープされた衣類領域を入力として受け取り、ターゲット視点の画像をレンダリングする。本手法の有効性を検証するため、ポーズ誘導型人物画像生成に対してDeepFashionデータセット、バーチャルトライオンタスクに対してVITONデータセットを用いて広範な実験を実施した。得られた定性的・定量的な結果は、本手法の優れた性能を強く裏付けている。