Traduction d'images multimodales non supervisée

La traduction d'images non supervisée est un problème important et difficile dans le domaine de la vision par ordinateur. Étant donné une image du domaine source, l'objectif est d'apprendre la distribution conditionnelle des images correspondantes dans le domaine cible, sans avoir vu aucune paire d'images correspondantes. Bien que cette distribution conditionnelle soit intrinsèquement multimodale, les approches existantes font une hypothèse excessivement simplifiée, en la modélisant comme une correspondance déterministe un-à-un. En conséquence, elles échouent à générer des sorties variées à partir d'une image donnée du domaine source. Pour remédier à cette limitation, nous proposons un cadre de traduction d'images non supervisée multimodale (MUNIT). Nous supposons que la représentation d'une image peut être décomposée en un code de contenu invariant par rapport au domaine et un code de style qui capture les propriétés spécifiques au domaine. Pour traduire une image vers un autre domaine, nous combinons son code de contenu avec un code de style aléatoire tiré de l'espace de styles du domaine cible. Nous analysons le cadre proposé et établissons plusieurs résultats théoriques. Des expériences approfondies comparées aux approches les plus avancées montrent davantage l'avantage de notre cadre. De plus, notre cadre permet aux utilisateurs de contrôler le style des images générées en fournissant une image exemple de style.Le code source et les modèles pré-entraînés sont disponibles sur https://github.com/nvlabs/MUNIT