Flots de normalisation itératifs tranchés

Nous développons un algorithme itératif (glouton) basé sur l'apprentissage profond (DL), capable de transformer une fonction de distribution de probabilité (PDF) arbitraire en une PDF cible. Le modèle repose sur un transport optimal itératif appliqué à une suite de coupes unidimensionnelles (1D), en ajustant à chaque coupe la distribution marginale à la PDF cible. Les axes des coupes orthogonales sont sélectionnés à chaque itération de manière à maximiser la différence de PDF mesurée par la distance de Wasserstein, ce qui permet à l'algorithme de bien se généraliser aux dimensions élevées. En tant que cas particuliers de cet algorithme, nous introduisons deux modèles de Normalizing Flow à coupes itératives (SINF) : un modèle qui mappe les données vers l'espace latent (GIS), et son inverse (SIG). Nous montrons que SIG est capable de générer des échantillons de haute qualité sur des jeux de données d'images, atteignant des performances comparables aux benchmarks GAN, tandis que GIS obtient des résultats compétitifs sur les tâches d'estimation de densité par rapport aux modèles de Normalizing Flow entraînés spécifiquement pour la densité, tout en étant plus stable, plus rapide, et en atteignant une valeur plus élevée de $p(x)$ lorsqu'il est entraîné sur de petits ensembles d'apprentissage. L'approche SINF s'écarte de manière significative du paradigme actuel de l'apprentissage profond, car elle est gloutonne et ne repose pas sur des concepts tels que le mini-batching, la descente de gradient stochastique ou la rétropropagation des gradients à travers les couches profondes.