要約
生成 adversarial network（GAN）における主要な未解決課題の一つは、物体の形状やテクスチャが実際の画像と区別がつかないほど、全体的かつ局所的に整合性のある画像を生成する能力である。本研究では、セグメンテーション分野の知見を活用した、U-Netに基づく代替的な識別器アーキテクチャを提案する。この提案するU-Netベースのアーキテクチャは、生成器に対してピクセル単位の詳細なフィードバックを提供しつつ、グローバルな画像の整合性も維持できる。具体的には、グローバルな画像レベルのフィードバックを併用することで、このバランスを実現している。識別器のピクセル単位の応答を活用し、CutMixデータ拡張に基づくピクセル単位の一貫性正則化手法をさらに提案する。この手法により、U-Net識別器が実画像と偽画像の間の意味的・構造的変化に注目するよう促進され、識別器の訓練が向上し、結果として生成画像の品質も向上する。提案する新しい識別器は、標準的な分布評価指標および画像品質指標において、従来の最先端技術を上回る性能を発揮し、生成画像が構造や外観、詳細度にわたり多様でありつつも、グローバルおよび局所的な現実性を維持できるようにしている。BigGANベースラインと比較して、FFHQ、CelebA、および新しく導入されたCOCO-Animalsデータセットにおいて、平均でFIDスコアが2.7ポイント改善された。本研究のコードは、https://github.com/boschresearch/unetgan にて公開されている。