HyperAIHyperAI

Command Palette

Search for a command to run...

SyncDreamer : Génération d'images multivues cohérentes à partir d'une image univue

Yuan Liu Cheng Lin Zijiao Zeng Xiaoxiao Long Lingjie Liu Taku Komura Wenping Wang

Résumé

Dans cet article, nous présentons un nouveau modèle de diffusion appelé SyncDreamer qui génère des images multivues cohérentes à partir d'une image monovue. En utilisant des modèles de diffusion 2D préentraînés à grande échelle, les travaux récents comme Zero123 ont démontré la capacité de générer des vues nouvelles et plausibles à partir d'une image monovue d'un objet. Cependant, maintenir la cohérence en géométrie et en couleurs pour les images générées reste un défi. Pour résoudre ce problème, nous proposons un modèle de diffusion multivues synchronisé qui modélise la distribution de probabilité conjointe des images multivues, permettant ainsi la génération d'images multivues cohérentes au cours d'un seul processus inverse. SyncDreamer synchronise les états intermédiaires de toutes les images générées à chaque étape du processus inverse grâce à un mécanisme d'attention aux caractéristiques 3D conscient (3D-aware feature attention mechanism) qui corrèle les caractéristiques correspondantes entre différentes vues. Les expériences montrent que SyncDreamer génère des images avec une haute cohérence entre différentes vues, ce qui le rend particulièrement adapté à diverses tâches de génération 3D telles que la synthèse de nouvelles vues, la conversion texte-3D et l'image-3D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SyncDreamer : Génération d'images multivues cohérentes à partir d'une image univue | Articles | HyperAI