HyperAIHyperAI

Command Palette

Search for a command to run...

Synthèse d'images et de géométrie sous un angle de vue nouveau alignées par l'instillation d'attention intermodale

Min-Seop Kwak Junho Kim Sangdoo Yun Dongyoon Han Taekyoung Kim Seungryong Kim Jin-Hwa Kim

Résumé

Nous présentons un cadre basé sur la diffusion qui réalise la génération d'images et de géométries sous des vues nouvelles et alignées grâce à une méthodologie de déformation et de complétion (warping-and-inpainting). Contrairement aux méthodes précédentes nécessitant des images posées denses ou des modèles génératifs intégrant des poses limités aux vues en domaine, notre méthode utilise des prédicteurs de géométrie hors catalogue pour prédire des géométries partielles vues depuis des images de référence, et formule la synthèse de vues nouvelles comme une tâche de complétion pour l'image et la géométrie. Pour garantir un alignement précis entre les images générées et la géométrie, nous proposons une distillation d'attention intermodale, où les cartes d'attention issues du branchement de diffusion d'image sont injectées dans un branchement parallèle de diffusion de géométrie lors de l'apprentissage et de l'inférence. Cette approche multitâche permet d'atteindre des effets synergiques, facilitant la synthèse d'images robustes sur le plan géométrique ainsi qu'une prédiction précise de la géométrie. Nous introduisons également une conditionnement maillé basé sur la proximité pour intégrer les indices de profondeur et de normales, interpolant entre nuage de points et filtrant les géométries prédites erronément afin qu'elles n'influencent pas le processus de génération. Expérimentalement, notre méthode atteint une synthèse extrapolative à haute fidélité pour les images et la géométrie dans une variété de scènes inconnues, fournit une qualité compétitive de reconstruction dans les configurations d'interpolation, et génère des nuages de points colorés alignés sur le plan géométrique pour une complétion 3D complète. La page du projet est disponible à l'adresse suivante : https://cvlab-kaist.github.io/MoAI.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Synthèse d'images et de géométrie sous un angle de vue nouveau alignées par l'instillation d'attention intermodale | Articles | HyperAI