要約
生成的対抗ネットワーク（GAN）の性能は、訓練データが限られている場合に著しく低下する。これは主に、識別器（discriminator）が訓練データそのものを記憶してしまうためである。これを克服するため、本研究では、実際のサンプルと生成された偽のサンプルの両方に微分可能なオーグメンテーション（拡張）を適用することで、GANのデータ効率を向上させる「微分可能オーグメンテーション（DiffAugment）」を提案する。従来の訓練データへの直接的なオーグメンテーション手法は、実画像の分布を歪めてしまうため、ほとんど効果が得られなかったが、DiffAugmentにより生成サンプルに対しても微分可能なオーグメンテーションを適用可能となり、訓練の安定性を高め、より良い収束を実現する。実験により、条件なしおよび条件付き生成の両方において、さまざまなGANアーキテクチャおよび損失関数に対して、本手法が一貫した性能向上を示すことが確認された。DiffAugmentを用いることで、ImageNet 128×128においてFIDが6.80、ISが100.8という最先端の性能を達成した。また、FFHQおよびLSUNでは、1,000枚の画像のみを用いた場合にFIDが2～4倍改善された。さらに、CIFAR-10およびCIFAR-100では、訓練データの20％のみでトップレベルの性能を達成可能である。最終的に、事前学習なしで100枚の画像のみを用いて高精細な画像生成が可能となり、既存の転移学習アルゴリズムと同等の性能を発揮する。コードは、https://github.com/mit-han-lab/data-efficient-gans で公開されている。