姿勢に基づく人間画像生成のための変形可能なGANs

本論文では、指定された姿勢に基づいて人物画像を生成する問題に取り組んでいます。具体的には、人物の画像と目標となる姿勢が与えられた場合、その人物が新しい姿勢で表示される画像を合成します。姿勢の違いによって引き起こされるピクセル対ピクセルのずれに対処するために、生成器において変形可能なスキップ接続（deformable skip connections）を導入しました。さらに、一般的に使用されるL1およびL2損失ではなく、生成画像と目標画像の詳細が一致するように最近傍損失（nearest-neighbour loss）を提案しています。異なる姿勢の人物写真を使用して当方の手法をテストし、この分野における先行研究との比較を行った結果、2つのベンチマークで最先端の成果を示しています。当方の手法は、キーポイント検出器を使用して関節のある物体の姿勢を抽出できる限り、より広範な変形可能な物体生成分野にも適用可能です。