分離された人物画像生成

新しい、しかし現実的な人物画像を生成することは、前景、背景、姿勢情報などの異なる画像要因の複雑な相互作用により困難な課題となっています。本研究では、これらの画像要因の分離表現を学習し、同時に新しい人物画像を生成するための新規二段階再構成パイプラインに基づいてこのような画像を生成することを目指しています。まず、マルチブランチ再構成ネットワークを提案し、このネットワークは三つの要因を分離してエンコードし、埋め込み特徴量に変換します。その後、これらの特徴量が組み合わされて入力画像自体が再構成されます。次に、各要因に対してガウスノイズを学習した埋め込み特徴量空間にマッピングするための三つの対応するマッピング関数が敵対的な方法で学習されます。提案されたフレームワークを使用することで、入力画像の前景、背景、姿勢を操作することが可能になります。また、新しい埋め込み特徴量をサンプリングしてこのような目的の操作を行うことで、生成プロセスに対するより多くの制御が得られます。Market-1501およびDeepfashionデータセットでの実験結果から、当モデルは新しい前景や背景、姿勢を持つ現実的な人物画像だけでなく、生成された要因の操作と中間状態の補間も行えることが示されました。さらに別の一連のMarket-1501データセットでの実験では、当モデルが人物再識別タスクにおいても有用であることが確認されました。