Paint Transformer : Peinture neuronique à réseau de feed forward avec prédiction de trait

Le « neural painting » désigne la procédure de génération d'une série de traits pour une image donnée, afin de la recréer de manière non réaliste et non photographique à l’aide de réseaux neuronaux. Bien que les agents basés sur l’apprentissage par renforcement (RL) puissent générer une séquence de traits étape par étape pour cette tâche, il est difficile d’entraîner un agent RL stable. D’un autre côté, les méthodes d’optimisation des traits cherchent itérativement un ensemble de paramètres de traits dans un espace de recherche très large ; cette faible efficacité limite fortement leur diffusion et leur praticabilité. À la différence des approches précédentes, nous formulons cette tâche comme un problème de prédiction d’ensemble et proposons un nouveau cadre basé sur le Transformer, appelé Paint Transformer, capable de prédire les paramètres d’un ensemble de traits à l’aide d’un réseau de propagation avant. Grâce à cette approche, notre modèle peut générer un ensemble de traits en parallèle et produire une peinture finale de taille 512 × 512 en quasi-temps réel. Plus important encore, comme aucun jeu de données n’est disponible pour entraîner Paint Transformer, nous avons conçu un pipeline d’auto-entraînement qui permet à ce modèle d’être formé sans recourir à aucun jeu de données préexistants, tout en conservant une excellente capacité de généralisation. Les expériences montrent que notre méthode atteint des performances supérieures à celles des approches antérieures, avec des coûts d’entraînement et d’inférence réduits. Le code et les modèles sont disponibles.