HyperAIHyperAI

Command Palette

Search for a command to run...

Reconstruction 3D multi-vue avec Transformer

Dan Wang Xinrui Cui Xun Chen Zhengxia Zou Tianyang Shi Septimiu Salcudean Z. Jane Wang Rabab Ward

Résumé

Les méthodes fondées sur les réseaux de neurones convolutifs profonds (Deep CNN) ont jusqu’à présent atteint les meilleurs résultats actuels en reconstruction 3D à partir de multiples vues. Malgré les progrès significatifs accomplis, les deux modules centraux de ces méthodes — l’extraction de caractéristiques multi-vues et la fusion de ces caractéristiques — sont généralement étudiés de manière indépendante, et les relations entre objets observés sous différentes perspectives restent rarement exploitées. Inspirés par les récents succès remarquables des modèles Transformer basés sur l’attention auto-associative, nous reformulons la reconstruction 3D multi-vues comme un problème de prédiction séquentielle à séquence et proposons un nouveau cadre, nommé 3D Volume Transformer (VolT), pour résoudre cette tâche. Contrairement aux méthodes CNN précédentes qui adoptent une architecture séparée, nous unifions l’extraction de caractéristiques et la fusion des vues au sein d’un seul réseau Transformer. Un avantage naturel de notre architecture réside dans sa capacité à explorer les relations entre vues grâce à l’attention auto-associative appliquée à plusieurs entrées non ordonnées. Sur ShapeNet, un grand jeu de données de référence pour la reconstruction 3D, notre méthode atteint une nouvelle performance record en reconstruction multi-vues, tout en utilisant 70 % moins de paramètres que les méthodes CNN existantes. Les résultats expérimentaux indiquent également une forte capacité d’échelle de notre approche. Le code source sera rendu publiquement disponible.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp