Kaiwen Zheng Huayu Chen Haotian Ye Haoxiang Wang Qinsheng Zhang Kai Jiang Hang Su Stefano Ermon Jun Zhu Ming-Yu Liu

Résumé

L’apprentissage par renforcement en ligne (RL) joue un rôle central dans le post-entraînement des modèles linguistiques, mais son extension aux modèles de diffusion reste difficile en raison de la non-tractabilité des vraisemblances. Les travaux récents discrétisent le processus d’échantillonnage inverse afin de permettre un entraînement du type GRPO, mais ils héritent de défauts fondamentaux, notamment des contraintes imposées par les solveurs, une incohérence entre les processus direct et inverse, ainsi qu’une intégration complexe avec la guidance sans classificateur (CFG). Nous proposons DiffusionNFT (Diffusion Negative-aware FineTuning), un nouveau paradigme d’apprentissage par renforcement en ligne qui optimise directement les modèles de diffusion sur le processus direct via le matching de flux. DiffusionNFT oppose les générations positives et négatives pour définir une direction implicite d’amélioration de la politique, intégrant naturellement des signaux de renforcement dans l’objectif d’apprentissage supervisé. Cette formulation permet un entraînement avec des solveurs noirs arbitraires, élimine la nécessité d’estimer les vraisemblances, et n’exige que des images propres, et non des trajectoires d’échantillonnage, pour l’optimisation de la politique. DiffusionNFT est jusqu’à 25 fois plus efficace que FlowGRPO dans des comparaisons directes, tout en étant indépendant de la CFG. Par exemple, DiffusionNFT améliore le score GenEval de 0,24 à 0,98 en seulement 1 000 étapes, tandis que FlowGRPO atteint 0,95 après plus de 5 000 étapes et en utilisant une guidance CFG supplémentaire. En exploitant plusieurs modèles de récompense, DiffusionNFT améliore de manière significative les performances du modèle SD3.5-Medium sur tous les benchmarks testés.