HyperAIHyperAI

Command Palette

Search for a command to run...

Paint Transformer : Peinture neuronique à réseau de feed forward avec prédiction de trait

Songhua Liu Tianwei Lin Dongliang He Fu Li Ruifeng Deng Xin Li Errui Ding Hao Wang

Résumé

Le « neural painting » désigne la procédure de génération d'une série de traits pour une image donnée, afin de la recréer de manière non réaliste et non photographique à l’aide de réseaux neuronaux. Bien que les agents basés sur l’apprentissage par renforcement (RL) puissent générer une séquence de traits étape par étape pour cette tâche, il est difficile d’entraîner un agent RL stable. D’un autre côté, les méthodes d’optimisation des traits cherchent itérativement un ensemble de paramètres de traits dans un espace de recherche très large ; cette faible efficacité limite fortement leur diffusion et leur praticabilité. À la différence des approches précédentes, nous formulons cette tâche comme un problème de prédiction d’ensemble et proposons un nouveau cadre basé sur le Transformer, appelé Paint Transformer, capable de prédire les paramètres d’un ensemble de traits à l’aide d’un réseau de propagation avant. Grâce à cette approche, notre modèle peut générer un ensemble de traits en parallèle et produire une peinture finale de taille 512 × 512 en quasi-temps réel. Plus important encore, comme aucun jeu de données n’est disponible pour entraîner Paint Transformer, nous avons conçu un pipeline d’auto-entraînement qui permet à ce modèle d’être formé sans recourir à aucun jeu de données préexistants, tout en conservant une excellente capacité de généralisation. Les expériences montrent que notre méthode atteint des performances supérieures à celles des approches antérieures, avec des coûts d’entraînement et d’inférence réduits. Le code et les modèles sont disponibles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp