Visionär: Der Weltmodell-Träger auf Basis einer WebGPU-gesteuerten Gaussian Splatting-Plattform
Visionär: Der Weltmodell-Träger auf Basis einer WebGPU-gesteuerten Gaussian Splatting-Plattform

Abstract
Neurales Rendering, insbesondere 3D Gaussian Splatting (3DGS), hat sich rasch weiterentwickelt und ist zu einer zentralen Komponente für die Erstellung von Weltmodellen geworden. Bestehende Viewer-Lösungen bleiben jedoch fragmentiert, schwerlastig oder durch veraltete Pipelines eingeschränkt, was zu hohem Aufwand bei der Bereitstellung und begrenzter Unterstützung dynamischer Inhalte sowie generativer Modelle führt. In dieser Arbeit präsentieren wir Visionary – eine offene, web-native Plattform für die Echtzeit-Rendering von verschiedenen Gaussian Splatting- und Mesh-Darstellungen. Aufbauend auf einem effizienten WebGPU-Renderer mit framebasiertem ONNX-Inferenz, ermöglicht Visionary dynamische neuronale Verarbeitung, während gleichzeitig ein leichtgewichtiges, „klick-fertig“-Erlebnis im Browser gewährleistet wird. Die Plattform führt einen standardisierten „Gaussian Generator“-Vertrag ein, der nicht nur die Standard-3DGS-Darstellung unterstützt, sondern auch plug-and-play-Algorithmen erlaubt, die pro Frame Gaussische Komponenten generieren oder aktualisieren. Diese Inferenz ermöglicht zudem die Anwendung von feedforward-basierten generativen Nachbearbeitungsverfahren. Zusätzlich bietet Visionary eine Plug-in-Bibliothek für three.js mit einer präzisen TypeScript-API, um eine nahtlose Integration in bestehende Webanwendungen zu ermöglichen. Experimente zeigen, dass Visionary unter identischen 3DGS-Ressourcen gegenüber aktuellen Web-Viewer-Lösungen eine überlegene Rendering-Effizienz erreicht, dank GPU-basierter Primitive-Sortierung. Die Plattform unterstützt bereits mehrere Varianten, darunter MLP-basiertes 3DGS, 4DGS, neuronale Avatare sowie Stiltransformation- und Verbesserungsnetzwerke. Durch die direkte Vereinigung von Inferenz und Rendering im Browser senkt Visionary erheblich die Hürden für Reproduktion, Vergleich und Bereitstellung von 3DGS-ähnlichen Methoden und fungiert als einheitlicher Träger für Weltmodelle sowohl im rekonstruktiven als auch im generativen Paradigma.
Code-Repositories
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.