HyperAIHyperAI

Command Palette

Search for a command to run...

Prendre-Une-Photo : Pré-entraînement Génératif 3D-2D des Modèles de Nuages de Points

Ziyi Wang Xumin Yu Yongming Rao Jie Zhou Jiwen Lu

Résumé

Avec la tendance prédominante de modélisation d'images masquées dirigée par MAE (Masked Autoencoder), l'entraînement génératif a montré un potentiel remarquable pour améliorer les performances des modèles fondamentaux en vision 2D. Cependant, en vision 3D, la dépendance excessive aux backbones basés sur les Transformers et la nature non ordonnée des nuages de points ont limité le développement ultérieur de l'entraînement génératif. Dans cet article, nous proposons une nouvelle méthode d'entraînement génératif 3D-to-2D adaptable à tout modèle de nuage de points. Nous suggérons de générer des images de vue à partir de différentes poses instructives via le mécanisme d'attention croisée comme schéma d'entraînement préalable. La génération d'images de vue offre une supervision plus précise que son équivalent en nuage de points, aidant ainsi les backbones 3D à avoir une compréhension plus fine de la structure géométrique et des relations stéréoscopiques du nuage de points. Les résultats expérimentaux ont prouvé la supériorité de notre méthode d'entraînement génératif 3D-to-2D par rapport aux méthodes d'entraînement préalable précédentes. Notre méthode est également efficace pour améliorer les performances des approches orientées vers l'architecture, atteignant des performances de pointe lors du réglage fin sur les tâches de classification ScanObjectNN et de segmentation ShapeNetPart. Le code est disponible à l'adresse suivante : https://github.com/wangzy22/TAP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp