CLI startet KI-Modelle für Edge-Apps

NVIDIA hat den DGX Spark jetzt in einer 64-GB-Konfiguration verfügbar gemacht und zeigt mit TensorRT Edge-LLM, wie KI-Agenten mit wenigen Befehlen für Edge-Anwendungen entwickelt und getestet werden können. Die Lösung richtet sich an physische KI-Anwendungen wie die Überwachung von Fahreraufmerksamkeit und Kabinenzuständen, die Umfeldwahrnehmung von Robotern sowie die Steuerung von Maschinenflotten in Produktionslinien. Diese Agenten müssen Wahrnehmung, Planung und Handeln unter engen Grenzen bei Speicher, Leistungsaufnahme und Latenz erfüllen. TensorRT Edge-LLM ist eine leichtgewichtige Inferenzlaufzeit für eingebettete Lasten und nutzt eine C++-Laufzeitumgebung. Diese Inferenzumgebung soll auf dem Entwicklungssystem DGX Spark und auf Zielplattformen wie Jetson Thor, DRIVE AGX Thor und IGX Thor einheitlich bleiben. Über die Kommandozeile trtedge lädt der Nutzer ein ausgewähltes Modell herunter und baut automatisch eine optimierte TensorRT-Engine für die Inferenz auf. In einem Beispiel demonstriert NVIDIA die Verwendung des textbasierten Modells Nemotron-3.5 Lightning auf DGX Spark. Beim ersten Start lädt das Tool das rund 21 GB große Modell herunter und erstellt eine Engine; weitere Starts können den Zwischenspeicher nutzen. Nutzer können Eingaben direkt im Terminal testen und das Modell über eine lokale, OpenAI-kompatible Schnittstelle bereitstellen, um Anwendungsprototypen zu entwickeln. Optional lässt sich DSpark speculative decoding aktivieren: Ein kleines Entwurfsmodell schlägt mehrere Token vor, die vom Hauptmodell in einem Durchgang überprüft werden. Die Messungen auf DGX Spark 64 GB zeigen, dass Nemotron-3.5 Lightning ohne DSpark Medianwerte für die Zeit bis zum ersten Token von etwa 98 bis 330 Millisekunden und mittlere Generierungsgeschwindigkeiten von rund 73 Token pro Sekunde erreicht. Mit aktiviertem DSpark steigt die tokenbasierte Generierungsgeschwindigkeit je nach Arbeitslast auf etwa 105 bis 127 Token pro Sekunde, während die Zeit bis zum ersten Token nahezu konstant bleibt. Der maximale Systemspeicherbedarf lag bei 27,9 GB inklusive Betriebssystem. Als Softwarevoraussetzungen nennt NVIDIA CUDA 13, TensorRT 10.16.1.11 oder neuer aus der 10.x-Serie, Python 3.10 bis 3.12 sowie TensorRT Edge-LLM 0.11.1. Damit positioniert NVIDIA die Kombination aus DGX Spark und TensorRT Edge-LLM als Einstiegspunkt für Agenten, die in Echtzeit nahe am Gerät entscheiden müssen. Neben Textmodellen stehen laut NVIDIA auch Modelle für Bild- und Videointerpretation, Spracherkennung und Text-zu-Sprache-Ausgabe zur Verfügung. Entwickler sollen zusätzlich über Dokumentationen, Entwicklungsvorlagen und offene Nemotron-Ressourcen auf Hugging Face arbeiten können.