HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 3 jours

Visionnaire : le porteur de modèle monde construit sur la plateforme de splatting gaussien alimentée par WebGPU

Visionnaire : le porteur de modèle monde construit sur la plateforme de splatting gaussien alimentée par WebGPU

Résumé

Le rendu neuronal, en particulier le 3D Gaussian Splatting (3DGS), s’est rapidement développé et est devenu une composante essentielle dans la construction de modèles mondiaux. Toutefois, les solutions actuelles de visualisation restent fragmentées, lourdes ou contraintes par des pipelines hérités, entraînant une forte friction dans le déploiement ainsi qu’un support limité pour les contenus dynamiques et les modèles génératifs. Dans ce travail, nous présentons Visionary, une plateforme open-source et native web pour le rendu en temps réel de diverses représentations basées sur des Gaussiennes et des maillages. Conçue autour d’un moteur de rendu WebGPU efficace et d’une inférence ONNX par frame, Visionary permet un traitement neuronal dynamique tout en maintenant une expérience légère, « cliquez-pour-exécuter », directement dans le navigateur. Elle introduit un contrat standardisé appelé Gaussian Generator, qui non seulement soutient le rendu standard 3DGS, mais permet également l’intégration plug-and-play d’algorithmes capables de générer ou de mettre à jour les Gaussiennes à chaque frame. Cette infrastructure d’inférence ouvre la voie à des post-traitements génératifs en boucle avant (feedforward). La plateforme inclut également une bibliothèque plug-in pour three.js, munie d’une API TypeScript concise, permettant une intégration fluide dans les applications web existantes. Des expérimentations montrent que, sous des ressources 3DGS identiques, Visionary atteint une efficacité de rendu supérieure à celle des visionneurs web actuels grâce à un tri des primitives basé sur le GPU. Elle prend déjà en charge plusieurs variantes, notamment des 3DGS basés sur des MLP, des 4DGS, des avatars neuronaux, ainsi que des réseaux de transformation ou d’amélioration de style. En unifiant directement l’inférence et le rendu dans le navigateur, Visionary réduit considérablement les barrières à la reproduction, à la comparaison et au déploiement des méthodes de la famille 3DGS, se positionnant ainsi comme un porteur unifié de modèles mondiaux, aussi bien pour les paradigmes reconstructifs que génératifs.

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Visionnaire : le porteur de modèle monde construit sur la plateforme de splatting gaussien alimentée par WebGPU | Articles de recherche | HyperAI