KI-Agenten für AR-Brillen mit NVIDIA XR AI entwickeln
NVIDIA hat die öffentliche Beta-Version von NVIDIA XR AI vorgestellt, einer offenen Entwicklungsplattform, die die Lücke zwischen verfügbarer XR-Hardware und der benötigten KI-Infrastruktur schließt. Das Framework ermöglicht es Entwicklern, intelligente Agenten für AR-Brillen, XR-Headsets und Wearables zu erstellen, die Live-Daten von Kamera und Mikrofon verarbeiten, multimodale Modelle einbinden und nahtlos in Unternehmensdatenstrukturen interagieren. Damit verschiebt sich der Fokus von reinen Visualisierungen hin zu kontextbewussten, sprach- und visuell gesteuerten Assistenten für den Einsatz in anspruchsvollen Arbeitsumgebungen. Die Architektur von XR AI basiert auf einem modularen Konzept, das Medienübertragung, Modellservices, Werkzeugzugriff und Client-Zustellung strikt trennt. Im Zentrum steht der XR Media Hub, der Sensorströme bündelt und effizient an die zugrundeliegenden KI-Komponenten verteilt. Visuelle Grounding-Fähigkeiten liefert NVIDIA Cosmos, während die Nemotron-Modelle für Sprachverständnis, analytische Fähigkeiten und Tool-Aufrufe zuständig sind. Die Anbindung an Unternehmenssysteme erfolgt über das Model Context Protocol, das Datenbanken, digitale Zwillinge und Prozessvorschriften standardisiert zugänglich macht. Orchestrierungsaufgaben übernehmen Frameworks wie der NeMo Agent Toolkit. Durch diese Trennung bleibt der Datendurchsatz hoch, unnötige Inferenzen werden vermieden und Entwickler können Komponenten unabhängig austauschen. Das Design unterstützt zudem Mehrbenutzer-Szenarien, bei denen die Teilnehmeridentität als Routing-Grenze dient. Erste Anwendungsbeispiele aus der Praxis unterstreichen den technologischen Mehrwert. In der biomedizinischen Forschung kooperieren Stanford und Princeton mit NVIDIA, um Laborpersonal bei Stammzelltherapie-Experimenten durch kontextsensitive KI-Anweisungen zu unterstützen. In der Fertigung untersucht Siemens gemeinsam mit NVIDIA, wie Ingenieure auf der Werkspalette mit DGX Spark und XR AI Wartungsdaten abfragen, Fehler diagnostizieren und Arbeitsabläufe dokumentieren können. Das System ist speziell für hands-free-Umgebungen konzipiert und eignet sich für Feldservice, Remote-Assistance, Industrie 4.0 und medizinische Schulungen. Die öffentlich verfügbare Beta ist als Open-Source-Repository auf GitHub zugänglich und bietet einen strukturierten Einstieg in die Agentenentwicklung. Entwickler können schrittweise von einer multimodalen Basisversion ausgehend, Enterprise-Anbindungen integrieren, Orchestrierungslogik implementieren und bei Bedarf räumliche 3D-Inhalte über CloudXR hinzufügen. Dabei bewährt sich ein hybrides Modell, bei dem leichtgewichtige Modelle sofortige Statusrückmeldungen liefern, während größere Modelle komplexe Aufgaben im Hintergrund abwickeln. Mit NVIDIA XR AI steht nun eine standardisierte Grundlage bereit, um KI-gestützte XR-Erlebnisse skalierbar, sicher und anwendungsspezifisch zu deployen.
