COCO-GAN: 条件付き調整による部分生成

人間は生物学的な制約により、周囲の環境と部分的にしか対話できません。したがって、私たちは一連の観測を通じて空間的な関係を推論し、周囲の環境を組み立てることを学びます。このような行動や、機械も計算上の制約があるという事実に着想を得て、\underline{CO}nditional \underline{CO}ordinate GAN (COCO-GAN) を提案します。この生成器は、空間座標を条件として画像の各部分を生成します。一方で、識別器は全体的な一貫性、局所的な外観、およびエッジの連続性に基づいて複数の組み合わされたパッチ間での現実性を学習します。訓練中に完全な画像が生成されないにもかかわらず、COCO-GAN は推論時に 最先端品質 の完全な画像を生成できることを示しています。さらに、ネットワークに座標に対する認識を持たせることによって可能となるさまざまな新規応用例を示します。まず、学習済み座標多様体への外挿を行い、境界外のパッチを生成します。元々生成された完全な画像と組み合わせることで、訓練サンプルよりも大きな画像を生成することができます。これを「境界を超えた生成」（beyond-boundary generation）と呼びます。次に、水平方向に周期的なトポロジーを内在的に保つ円筒座標系内のパノラマ生成を行います。計算面では、COCO-GAN には訓練および推論時のメモリ要件を削減し、高並列処理を提供し、必要に応じて画像の一部だけを生成できる分かつ征服する（divide-and-conquer）パラダイムが組み込まれています。