تجميع النماذج الجاهزة لتدريب GAN

登上了大规模训练的时代，催生了大量强大的视觉识别模型。然而，生成模型（مثل نماذج GAN）傳統上是以無監督的方式從頭開始訓練。那麼，能否利用大量預訓練視覺模型所累積的「知識」來提升 GAN 的訓練效果？如果可以，面對如此眾多的模型選擇，應如何挑選，以及以何種方式使用才能達到最佳效果？我們發現，當將預訓練的計算機視覺模型以集成（ensemble）方式作為判別器使用時，能夠顯著提升性能。值得注意的是，所選模型的特定子集對性能有著重大影響。為此，我們提出了一種有效的選擇機制：通過探測預訓練模型嵌入空間中真實樣本與偽造樣本之間的線性可分性，選擇最準確的模型，並逐步將其加入判別器集成中。有趣的是，我們的方法在數據量有限和大規模數據設定下均能改善 GAN 訓練。僅使用 10,000 個訓練樣本，我們在 LSUN Cat 數據集上的 FID 指標便達到 StyleGAN2 在 160 萬張圖像上訓練的水平。在完整數據集上，我們的方法使 LSUN 數據集中貓、教堂和馬三類的 FID 指標提升 1.5 至 2 倍。