HyperAIHyperAI

Command Palette

Search for a command to run...

UMIFormer : Extraction des corrélations entre les jetons similaires pour la reconstruction 3D multi-vue

Zhenwei Zhu† Liying Yang† Ning Li Chaohao Jiang Yanyan Liang*

Résumé

Ces dernières années, de nombreuses tâches vidéo ont connu des avancées significatives en utilisant le vision transformer et en établissant une découplage spatio-temporel pour l'extraction de caractéristiques. Bien que la reconstruction 3D multivue fasse également face à plusieurs images en entrée, elle ne peut pas immédiatement tirer parti de ces succès en raison d'associations complètement ambiguës entre les vues non structurées. Il n'existe pas de relation préalable utilisable, similaire à la propriété de cohérence temporelle dans une vidéo. Pour résoudre ce problème, nous proposons un nouveau réseau transformer pour les Images Multivues Non Structurées (UMIFormer). Ce réseau exploite des blocs transformer pour le codage intra-vue découplé et des blocs conçus spécifiquement pour la rectification des jetons qui exploitent la corrélation entre des jetons similaires provenant de différentes vues afin d'atteindre un codage inter-vue découplé. Ensuite, tous les jetons obtenus à partir de diverses branches sont compressés en une représentation compacte de taille fixe tout en préservant des informations riches pour la reconstruction, grâce aux similarités entre les jetons. Nous démontrons empiriquement sur ShapeNet que notre méthode d'apprentissage découplée est adaptable aux images multivues non structurées. Par ailleurs, les expériences confirment également que notre modèle surpasse largement les méthodes SOTA existantes. Le code sera disponible sur https://github.com/GaryZhu1996/UMIFormer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp