HyperAIHyperAI

Command Palette

Search for a command to run...

Synthèse de vue sans géométrie : Transformers et pas de priori 3D

Robin Rombach Patrick Esser Björn Ommer

Résumé

Un modèle géométrique est-il nécessaire pour synthétiser des vues nouvelles à partir d'une seule image ? Contrairement aux réseaux de neurones convolutifs (CNN), qui sont contraints par des convolutions locales et nécessitent des biais 3D explicites pour modéliser les transformations géométriques, nous démontrons qu’un modèle basé sur les transformateurs peut synthétiser des vues entièrement nouvelles sans aucun biais 3D conçu manuellement. Ceci est réalisé grâce à (i) un mécanisme d’attention globale permettant d’apprendre implicitement des correspondances 3D à longue portée entre les vues source et cible, et (ii) une formulation probabiliste nécessaire pour capturer l’ambiguïté inhérente à la prédiction de nouvelles vues à partir d’une seule image, permettant ainsi de surmonter les limitations des approches antérieures, restreintes à de petites variations d’angle de vue. Nous évaluons diverses méthodes d’intégration de priori 3D dans une architecture de transformateur. Toutefois, nos expériences montrent qu’aucun tel priori géométrique n’est nécessaire, et que le transformateur est capable d’apprendre implicitement les relations 3D entre les images. En outre, cette approche dépasse l’état de l’art en termes de qualité visuelle tout en couvrant l’ensemble de la distribution des réalisations possibles. Le code est disponible à l’adresse suivante : https://git.io/JOnwn


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Synthèse de vue sans géométrie : Transformers et pas de priori 3D | Articles | HyperAI