HyperAIHyperAI

Command Palette

Search for a command to run...

Inpainting d'images libre-forme avec convolution gérée

Jiahui Yu Zhe Lin Jimei Yang Xiaohui Shen Xin Lu Thomas Huang

Résumé

Nous présentons un système de génération d'images par complétion (inpainting) capable de remplir des images avec des masques libres et des guides. Ce système repose sur des convolutions gérées (gated convolutions) apprises à partir de millions d'images sans effort supplémentaire d'étiquetage. La convolution gérée proposée résout le problème des convolutions standard qui traitent tous les pixels d'entrée comme valides, en généralisant la convolution partielle grâce à un mécanisme de sélection dynamique de caractéristiques apprenable pour chaque canal à chaque position spatiale dans toutes les couches. De plus, étant donné que les masques libres peuvent apparaître n'importe où dans les images et prendre n'importe quelle forme, les GANs globaux et locaux conçus pour un seul masque rectangulaire ne sont pas applicables. Nous présentons donc également une perte GAN basée sur des patches, nommée SN-PatchGAN, en appliquant un discriminateur spectral normalisé sur des patches d'image denses. Le SN-PatchGAN est simple en formulation, rapide et stable lors de l'entraînement. Les résultats obtenus pour le complétion automatique d'images et l'extension guidée par l'utilisateur montrent que notre système génère des résultats de meilleure qualité et plus flexibles que les méthodes précédentes. Notre système aide l'utilisateur à supprimer rapidement les objets distrayants, modifier la disposition des images, effacer les filigranes et éditer les visages. Le code source, une démonstration et les modèles sont disponibles à l'adresse suivante : https://github.com/JiahuiYu/generative_inpainting


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp