17日前

生成モデルにおける最適予算付きリジェクションサンプリング

Alexandre Verine, Muni Sreenivas Pydi, Benjamin Negrevergne, Yann Chevaleyre
生成モデルにおける最適予算付きリジェクションサンプリング
要約

最近、識別器ベースの生成モデルの性能を向上させるために、拒否採択(rejection sampling)手法が提案されている。しかし、これらの手法はサンプリング予算が無制限である場合にのみ最適であり、通常は拒否手順とは独立して訓練された生成器に適用される。本研究では、まず、与えられたサンプリング予算のもとで、真の分布と拒否後の分布の間の任意の$f$-ダイバージェンスについて、理論的に最適となる「最適予算制約付き拒否採択(Optimal Budgeted Rejection Sampling, OBRS)」手法を提案する。次に、採択スキームを学習プロセスに統合するエンドツーエンドの手法を提案し、モデル全体の性能をさらに向上させる。実験および理論的裏付けを通じて、提案手法がサンプルの品質および多様性を著しく向上させることを示した。