Ces dernières années, l'IA générative a été largement appliquée au contenu 2D (images, vidéos et textes), mais la génération 3D est restée un défi apparemment à portée de main mais difficile à relever, car elle implique plus qu'une simple augmentation de la dimensionnalité.Il s'agit également d'un test complet de la méthode de représentation, des objectifs d'apprentissage et de la facilité d'utilisation en ingénierie.

Le principal défi auquel sont confrontés les modèles génératifs 3D n'a jamais été simplement de savoir s'il est possible de générer un résultat qui ressemble à un objet.Il s’agit plutôt de savoir « comment maintenir simultanément la cohérence géométrique, la stabilité sémantique et l’utilisabilité structurelle dans un espace de grande dimension ».Un modèle peut paraître plausible d'un point de vue unique, mais se déformer rapidement dès que ce point de vue change ; il peut également être visuellement très réaliste, mais incapable d'exporter des ressources 3D standard modifiables et réutilisables. Ces problèmes limitent directement l'application de la technologie de génération 3D aux scénarios de production concrets.

Ces dernières années, le secteur a constamment expérimenté et oscillé entre différentes approches technologiques. Par exemple,Les méthodes basées sur NeRF démontrent des performances exceptionnelles en matière de continuité visuelle.Cependant, il est naturellement orienté vers le rendu plutôt que vers la modélisation, ce qui rend difficile de répondre à la demande en aval en matière de maillage, de topologie et de propriétés physiques ;Les méthodes de génération basées sur des voxels ou des maillages explicites possèdent une structure claire.Cependant, elle a longtemps été limitée en termes de résolution, de représentation des détails et de capacité de généralisation ;Les méthodes de génération 3D à vue unique ou à vues multiples ont permis des avancées majeures en matière d'efficacité.Cependant, ils se heurtent généralement à des problèmes tels qu'une cohérence insuffisante entre les différentes perspectives et des structures géométriques instables.

L'évolution répétée de ces approches ne révèle pas l'inadéquation d'un modèle ou d'une technique d'entraînement isolés, mais plutôt un fait plus profond : le problème de la génération 3D est essentiellement une inadéquation systématique entre la représentation, le chemin de génération et l'objectif d'entraînement.Lorsque l'objectif d'optimisation d'un modèle vise principalement à le rendre « raisonnable en apparence » plutôt que « structurellement solide », il devient difficile pour les résultats générés de combler le fossé entre démonstration et application.

Compte tenu de cela,Microsoft Research Asia a récemment lancé TRELLIS.2, qui peut non seulement générer des objets 3D avec des matériaux riches tels que le métal, le plastique, le verre, le bois et les ondulations de l'eau, mais aussi construire entièrement la géométrie interne des objets.Contrairement aux méthodes traditionnelles de génération 3D basées sur les champs, TRELLIS.2 propose une représentation novatrice sans champ : la structure voxélisée clairsemée O-Voxel. Cette méthode de représentation permet de générer des ressources 3D haute résolution avec des structures topologiques arbitraires et des propriétés de matériaux riches, et réduit considérablement la charge de travail des développeurs lors de la phase de prétraitement.

Dans le même temps, TRELLIS.2 permet également une compression spatiale de 16x, permettant ainsi aux grands modèles génératifs comportant 4 milliards de paramètres de réaliser efficacement l'entraînement et l'inférence.En termes de performances réelles, la génération d'une ressource avec une texture complète à une résolution de 512³ ne prend qu'environ 3 secondes.

La démo de génération 3D « TRELLIS.2 » est désormais disponible sur le site web d'HyperAI (hyper.ai) dans la section « Tutoriels ». Venez découvrir la génération efficace de modèles 3D !

Exécutez en ligne :https://go.hyper.ai/1nofM

Démonstration de l'effet :

Essai de démonstration

1. Après avoir accédé à la page d'accueil d'hyper.ai, sélectionnez « TRELLIS.2 3D Demo Generation » ou rendez-vous sur la page « Tutoriels » pour la sélectionner. Une fois la page redirigée, cliquez sur « Exécuter ce tutoriel en ligne ».

2. Une fois la page affichée, cliquez sur « Cloner » dans le coin supérieur droit pour cloner le didacticiel dans votre propre conteneur.

Remarque : Vous pouvez changer de langue en haut à droite de la page. Actuellement, le chinois et l’anglais sont disponibles. Ce tutoriel présente les étapes en anglais.

3. Sélectionnez les images « NVIDIA RTX 5090 » et « PyTorch », puis choisissez « Pay As You Go » ou « Daily Plan/Weekly Plan/Monthly Plan » selon vos besoins, puis cliquez sur « Continuer l’exécution de la tâche ».

HyperAI offre des avantages à l'inscription pour les nouveaux utilisateurs.Pour seulement $1, vous pouvez obtenir 20 heures de puissance de calcul RTX 5090 (prix d'origine $7).La ressource est valide en permanence.

4. Attendez que les ressources soient allouées. Une fois que le statut passe à « En cours d'exécution », cliquez sur « Ouvrir l'espace de travail » pour accéder à l'espace de travail Jupyter.

Démonstration d'effet

Une fois la page redirigée, cliquez sur le fichier README à gauche, puis sur « Exécuter » en haut.

Une fois le processus terminé, cliquez sur l'adresse de l'API à droite pour accéder à la page de démonstration.

Le tutoriel ci-dessus est celui recommandé par HyperAI cette fois-ci. Bienvenue à tous pour le découvrir !

Lien du tutoriel :https://go.hyper.ai/1nofM