Visionnaire : le porteur de modèle monde construit sur la plateforme de splatting gaussien alimentée par WebGPU
Visionnaire : le porteur de modèle monde construit sur la plateforme de splatting gaussien alimentée par WebGPU

Résumé
Le rendu neuronal, en particulier le 3D Gaussian Splatting (3DGS), s’est rapidement développé et est devenu une composante essentielle dans la construction de modèles mondiaux. Toutefois, les solutions actuelles de visualisation restent fragmentées, lourdes ou contraintes par des pipelines hérités, entraînant une forte friction dans le déploiement ainsi qu’un support limité pour les contenus dynamiques et les modèles génératifs. Dans ce travail, nous présentons Visionary, une plateforme open-source et native web pour le rendu en temps réel de diverses représentations basées sur des Gaussiennes et des maillages. Conçue autour d’un moteur de rendu WebGPU efficace et d’une inférence ONNX par frame, Visionary permet un traitement neuronal dynamique tout en maintenant une expérience légère, « cliquez-pour-exécuter », directement dans le navigateur. Elle introduit un contrat standardisé appelé Gaussian Generator, qui non seulement soutient le rendu standard 3DGS, mais permet également l’intégration plug-and-play d’algorithmes capables de générer ou de mettre à jour les Gaussiennes à chaque frame. Cette infrastructure d’inférence ouvre la voie à des post-traitements génératifs en boucle avant (feedforward). La plateforme inclut également une bibliothèque plug-in pour three.js, munie d’une API TypeScript concise, permettant une intégration fluide dans les applications web existantes. Des expérimentations montrent que, sous des ressources 3DGS identiques, Visionary atteint une efficacité de rendu supérieure à celle des visionneurs web actuels grâce à un tri des primitives basé sur le GPU. Elle prend déjà en charge plusieurs variantes, notamment des 3DGS basés sur des MLP, des 4DGS, des avatars neuronaux, ainsi que des réseaux de transformation ou d’amélioration de style. En unifiant directement l’inférence et le rendu dans le navigateur, Visionary réduit considérablement les barrières à la reproduction, à la comparaison et au déploiement des méthodes de la famille 3DGS, se positionnant ainsi comme un porteur unifié de modèles mondiaux, aussi bien pour les paradigmes reconstructifs que génératifs.
Dépôts de code
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.