HyperAIHyperAI
il y a 17 jours

Échantillonnage par rejet budgétisé optimal pour les modèles génératifs

Alexandre Verine, Muni Sreenivas Pydi, Benjamin Negrevergne, Yann Chevaleyre
Échantillonnage par rejet budgétisé optimal pour les modèles génératifs
Résumé

Les méthodes d’échantillonnage par rejet ont récemment été proposées pour améliorer les performances des modèles génératifs fondés sur un discriminateur. Toutefois, ces méthodes ne sont optimales que sous une contrainte de budget d’échantillonnage illimitée, et sont généralement appliquées à un générateur entraîné indépendamment du processus de rejet. Nous proposons tout d’abord un schéma d’échantillonnage par rejet à budget optimal (OBRS), qui est prouvéement optimal par rapport à toute divergence f entre la distribution réelle et la distribution post-rejet, pour un budget d’échantillonnage donné. Ensuite, nous proposons une méthode end-to-end qui intègre le schéma d’échantillonnage dans le processus d’entraînement, afin d’améliorer davantage les performances globales du modèle. À travers des expériences et une théorie complémentaire, nous démontrons que les méthodes proposées sont efficaces pour améliorer de manière significative la qualité et la diversité des échantillons générés.

Échantillonnage par rejet budgétisé optimal pour les modèles génératifs | Articles de recherche récents | HyperAI