要約
生成対抗ネットワーク（GANs）は、画像生成において写真のようなリアルさを達成しています。しかし、画像の内容を最適に制御する方法については未だに解決すべき課題が残っています。本研究では、LatentKeypointGANという二段階のGANを導入します。これは、空間キーポイントの集合に対する内部条件付けを持つ古典的なGANの目的関数でエンドツーエンドで訓練されます。これらのキーポイントには、それぞれ生成されたオブジェクトやその部分の位置とスタイルを制御する外観エンベッディングが関連付けられています。我々が適切なネットワークアーキテクチャと訓練スキームによって解決した主要な困難は、ドメイン知識や監督信号なしで画像を空間要因と外観要因に分離することです。LatentKeypointGANが解釈可能な潜在空間を提供し、キーポイントエンベッディングの再配置や交換により生成された画像を再配置できることが示されています。例えば、異なる画像から目、鼻、口を取り出して組み合わせて肖像画を生成することが可能です。さらに、キーポイントとマッチング画像の明示的な生成は、教師なしキーポイント検出の新しいGANベースの手法を可能にします。