HyperAIHyperAI

Command Palette

Search for a command to run...

Traduction d'images multimodales non supervisée

Xun Huang Ming-Yu Liu Serge Belongie Jan Kautz

Résumé

La traduction d'images non supervisée est un problème important et difficile dans le domaine de la vision par ordinateur. Étant donné une image du domaine source, l'objectif est d'apprendre la distribution conditionnelle des images correspondantes dans le domaine cible, sans avoir vu aucune paire d'images correspondantes. Bien que cette distribution conditionnelle soit intrinsèquement multimodale, les approches existantes font une hypothèse excessivement simplifiée, en la modélisant comme une correspondance déterministe un-à-un. En conséquence, elles échouent à générer des sorties variées à partir d'une image donnée du domaine source. Pour remédier à cette limitation, nous proposons un cadre de traduction d'images non supervisée multimodale (MUNIT). Nous supposons que la représentation d'une image peut être décomposée en un code de contenu invariant par rapport au domaine et un code de style qui capture les propriétés spécifiques au domaine. Pour traduire une image vers un autre domaine, nous combinons son code de contenu avec un code de style aléatoire tiré de l'espace de styles du domaine cible. Nous analysons le cadre proposé et établissons plusieurs résultats théoriques. Des expériences approfondies comparées aux approches les plus avancées montrent davantage l'avantage de notre cadre. De plus, notre cadre permet aux utilisateurs de contrôler le style des images générées en fournissant une image exemple de style.Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/nvlabs/MUNIT


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Traduction d'images multimodales non supervisée | Articles | HyperAI