HyperAIHyperAI

Command Palette

Search for a command to run...

PointCLIP V2 : Utilisation de CLIP et GPT pour un apprentissage puissant en monde ouvert 3D

Xiangyang Zhu∗1, Renrui Zhang†‡2,3, Bowei He1, Ziyu Guo2,3, Ziyao Zeng5, Zipeng Qin2, Shanghang Zhang4, Peng Gao3

Résumé

Les grands modèles pré-entraînés ont montré des performances prometteuses dans le monde ouvert pour les tâches de vision et de langage. Cependant, leur capacité transférée sur les nuages de points 3D est encore limitée et se limite principalement à la tâche de classification. Dans cet article, nous combinons d'abord CLIP et GPT pour créer un apprenant unifié du monde ouvert 3D, nommé PointCLIP V2, qui libère pleinement leur potentiel pour la classification 3D sans supervision, la segmentation et la détection. Pour mieux aligner les données 3D avec les connaissances linguistiques pré-entraînées, PointCLIP V2 intègre deux conceptions clés. Du côté visuel, nous sollicitons CLIP via un module de projection de forme pour générer des cartes de profondeur plus réalistes, réduisant ainsi l'écart de domaine entre les nuages de points projetés et les images naturelles. Du côté textuel, nous sollicitons le modèle GPT pour générer des textes spécifiques aux données 3D en tant qu'entrée du codificateur textuel de CLIP. Sans aucun entraînement dans des domaines 3D, notre approche dépasse significativement PointCLIP avec une précision accrue de +42,90 %, +40,44 % et +28,75 % sur trois jeux de données pour la classification 3D sans supervision. De plus, V2 peut être étendu à la classification 3D à partir de quelques exemples (few-shot), à la segmentation partielle 3D sans supervision et à la détection d'objets 3D d'une manière simple, démontrant notre capacité de généralisation pour l'apprentissage unifié du monde ouvert 3D.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp