Sculptage d'une représentation 3D holistique dans l'apprentissage préalable contrastif de la langue, de l'image et de la 3D

L'apprentissage par contraste est apparu comme une paradigme prometteur pour la compréhension du monde ouvert en 3D, c'est-à-dire l'alignement de la représentation des nuages de points sur les espaces d'embedding d'images et de texte individuellement. Dans cet article, nous présentons MixCon3D, une méthode simple mais efficace visant à façonner une représentation 3D holistique dans l'apprentissage préalable par contraste entre le langage, les images et les objets 3D. Contrairement aux seuls nuages de points, nous développons la représentation au niveau des objets 3D à partir de perspectives complémentaires, par exemple, des images rendues sous plusieurs angles avec le nuage de points. Ensuite, MixCon3D effectue un apprentissage par contraste entre le langage et les objets 3D, décrivant de manière exhaustive les objets 3D du monde réel et renforçant l'alignement textuel. De plus, nous menons la première enquête approfondie sur diverses recettes d'entraînement pour le paradigme d'apprentissage par contraste en 3D, établissant une base solide avec des performances améliorées. Des expériences étendues réalisées sur trois benchmarks représentatifs montrent que notre méthode améliore considérablement les performances de base, surpassant les résultats antérieurs de l'état de l'art sur l'ensemble de données Objaverse-LVIS à 1 156 catégories difficile par 5,7 %. La polyvalence de MixCon3D est mise en évidence dans des applications telles que la recherche textuelle-3D et la légendisation des nuages de points, apportant ainsi davantage de preuves quant à son efficacité dans divers scénarios. Le code est disponible à l'adresse suivante : https://github.com/UCSC-VLAA/MixCon3D.