GANからの現実的な画像の効率的サブサンプリング:クラスまたは連続変数に条件付けられた場合

近年、無条件GAN(unconditional GAN)から生成された画像に対して、サブサンプリングまたは精緻化を行う手法が、画像全体の品質向上の観点から積極的に研究されている。しかしながら、これらの手法は条件付きGAN(cGAN)—すなわちクラス条件付きGAN(class-conditional GANs)または連続変数条件付きGAN(continuous cGANsまたはCcGANs)—に対しては、しばしば効果が低く、あるいは非効率であることが観察されている。本研究では、cGANから高品質な画像を効果的かつ効率的にサンプリングするための新しいサブサンプリングスキーム、すなわち「条件付き密度比誘導型棄却サンプリング(conditional density ratio-guided rejection sampling, cDR-RS)」を提案する。具体的には、まず、条件付きSoftplus(cSP)損失関数と改良された特徴抽出メカニズムを導入することで、新たな条件付き密度比推定手法cDRE-F-cSPを構築する。次に、cSP損失を用いて訓練された密度比モデルの誤差バウンドを理論的に導出する。最後に、生成画像の推定された条件付き密度比に基づいて、偽画像を受容または棄却する。さらに、CcGANからのサンプリングにおいて、多様性を損なうことなく偽画像のラベル整合性を向上させるためのフィルタリングスキームも開発した。本手法は、5つのベンチマークデータセットを用いて、クラス条件付きGANおよびCcGANの両方におけるサンプリング効果と効率性について広範に検証された。クラス条件付きGANからのサンプリングにおいて、cDR-RSは、DRE-F-SP+RSを除く現代的な最先端手法と比較して、効果性において大幅に優れている。一方、DRE-F-SP+RSと同等の効果を達成するものの、cDR-RSは著しく高い効率性を示す。CcGANからのサンプリングにおいては、効果性と効率性の両面でcDR-RSの優位性がさらに顕著である。特に、適切な計算リソースを消費する条件下で、cDR-RSはCcGAN生成画像の多様性を損なうことなく、Label Scoreを著しく低減可能である。これに対して、他の手法は、わずかなLabel Scoreの向上を得るために、多様性を大きく犠牲にせざるを得ない傾向にある。