Command Palette
Search for a command to run...
分離型人物画像生成
分離型人物画像生成
概要
人物の新たな画像を生成する際、前景、背景、ポーズといった異なる画像要因の複雑な相互作用のため、現実的な画像を生成することは難しい課題である。本研究では、これらの画像要因の分離表現を学習し、同時に新しい人物画像を生成するための、新規の2段階再構成パイプラインを提案する。まず、3つの要因(前景、背景、ポーズ)を分離・符号化するためのマルチブランチ再構成ネットワークを設計し、それらの埋め込み特徴を用いて入力画像を再構成する。次に、それぞれの要因に対して、ガウスノイズを学習済みの埋め込み特徴空間にマッピングするための3つの対抗的学習型マッピング関数を別々に学習する。本フレームワークにより、入力画像の前景・背景・ポーズを操作可能となり、さらに新しい埋め込み特徴をサンプリングすることで、目的の変更を実現できるため、生成プロセスに対するより高度な制御が可能となる。Market-1501およびDeepfashionデータセットを用いた実験の結果、本モデルは新たな前景・背景・ポーズを備えた現実的な人物画像を生成するだけでなく、生成された要因の操作や中間状態の補間も可能であることが示された。また、Market-1501を用いた追加実験から、本モデルが人物再識別(person re-identification)タスクにおいても有効であることが確認された。