NVIDIA NIM: Sichere AI-Modell-Bereitstellung unter eigenem Kontrolle

Stellen Sie sich vor, Sie sind für die Sicherheit eines großen Unternehmens verantwortlich und Ihre Teams sind begeistert, künstliche Intelligenz (KI) in immer mehr Projekten einzusetzen. Allerdings gibt es ein Problem: Wie bei jedem Projekt müssen Sie das Potenzial und die Erträge der Innovation mit den realen Anforderungen an Compliance, Risikomanagement und Sicherheitsstandards ausgleichen. Sicherheitsverantwortliche stehen vor der Herausforderung, KI-Modelle wie agente KI oder retrivierte erweiterte Generierung (RAG) im Unternehmen bereitzustellen, ohne dabei die Kontrolle über Infrastruktur und Daten aufzugeben. Hier kommen NVIDIA NIM-Microservices und NVIDIA AI Enterprise ins Spiel. Mit NIM-Microservices, die mit einer NVIDIA AI Enterprise-Lizenz verfügbar sind, können Unternehmen KI-Modelle auf ihren eigenen Bedingungen bereitstellen, während sie die Sicherheit, Vertrauenswürdigkeit und Kontrolle über Open-Source-Modelle gewährleisten. NVIDIA AI Enterprise bietet Flexibilität: KI-Arbeitslasten können sicher lokal, in der privaten Cloud oder sogar in abgeschotteten Umgebungen betrieben werden. Dadurch muss Ihr Unternehmen nicht zwischen Innovation und Stabilität wählen – beides ist in der Sicherheit Ihrer eigenen Rechenzentren möglich. NIM-Container können in der Sicherheit Ihrer eigenen Infrastruktur für KI-Modelle ausgeführt werden. Die NIM-Architektur bietet einen vorgefertigten, optimierten Inferenz-Microservice, um die neuesten KI-Basismodelle auf jeder NVIDIA-beschleunigten Infrastruktur zu bereitstellen (Abbildung 1). NIM-Microservices exposing stellen branchenstandardisierte APIs zur Verfügung, die eine einfache Integration in KI-Anwendungen, Entwicklungsframeworks und Workflows ermöglichen. Abbildung 1: Die NIM-Architektur bietet einen vorgefertigten, optimierten Inferenz-Microservice für die Bereitstellung von KI-Basismodellen auf jeder NVIDIA-beschleunigten Infrastruktur. Unternehmensteams können KI-Modelle als Container in einer privaten Cloud oder in einer lokal bereitgestellten Umgebung einsetzen. Der Zugriff auf alle NIM-Container ist in der NVIDIA AI Enterprise-Lizenz enthalten, was bedeutet, dass Unternehmen KI-Modelle unter ihrer vollständigen Kontrolle einfach bereitstellen können. NVIDIAS schichtweiser Ansatz zur KI-Sicherheit betrifft sowohl die zugrunde liegende Infrastruktur als auch das Modell selbst. NVIDIA prüft Modelle, Software- und Datenabhängigkeiten sowie Modelausgaben, um sicherzustellen, dass KI-Modelle wie beabsichtigt geliefert werden, ohne Manipulation oder unerwartetes Verhalten. Jeder Aspekt offener Quellen-KI-Modelle wird in einem schichtweisen Ansatz validiert, um Risiken durch nicht verifizierte Ausführungen zu minimieren. Dies ermöglicht es Unternehmen, Modelle mit voller Sichtbarkeit und Kontrolle bereitzustellen. Zu den Sicherheitsmaßnahmen für NIM-Microservices gehören: Vertrauenswürdige Modelausführung: NVIDIA stellt sicher, dass Modelle wie beabsichtigt laufen, ohne Risiko einer nicht autorisierten Ausführung oder Manipulation. Open-Source-Sicherheitspraxis: NVIDIA verwendet einen Software-Entwicklungslifecycle und einen Vulnerability-Response-Prozess, um Kunden die sichere Ausführung von NIM in ihren eigenen Umgebungen zu ermöglichen. Dies verringert die Last der Open-Source-Sicherheitsprüfung für Unternehmen. Transparente Verpackung: Für jeden Container, der als Teil von NVIDIA AI Enterprise veröffentlicht wird, bietet NVIDIA Transparenz, indem detaillierte Sicherheitsmetadaten und signierte Artefakte veröffentlicht werden. SBOM, VEX und Container-Signaturberichte: Diese Funktionen sind Teil der berechtigten NVIDIA AI Enterprise-Lizenzen. Kontinuierliches Monitoring und Bedrohungsminderung: KI-Modelle, die über NVIDIA NIM bereitgestellt werden, werden vor, während und nach der Veröffentlichung auf Schwachstellen gescannt. Kritische oder hohe CVEs sind ohne VEX in veröffentlichten Containern nicht zulässig und werden in regelmäßigen Abständen gepatcht. Modellverhalten und Schutzmaßnahmen: Unternehmenssicherheitsteams benötigen die Gewissheit, dass KI-Modelle in Produktionsumgebungen wie erwartet funktionieren. NVIDIA NeMo Guardrails sind programmierbare Sicherheits- und Vertrauensfunktionen, die in Anwendungen mit LLMs integriert werden können. Sie bieten eine strukturierte Möglichkeit, unerwünschte Ausgaben in Unternehmenslösungen zu reduzieren und Schutzmaßnahmenregeln zwischen dem Anwendungscod und dem LLM zu erzwingen. NeMo Guardrails unterstützt nun multimodale Schienen, was es Lösungsarchitekten ermöglicht, Sicherheits- und Compliance-Richtlinien für jede Anwendung durchzusetzen und unsicheres oder ungewolltes Modellverhalten zu verhindern. Um KI-Modelle sicher bereitzustellen, folgen Sie diesen Schritten: NGC-Zugriff: Generieren Sie einen API-Schlüssel, um den gewünschten Container aus dem NGC-Katalog zu erhalten. SBOM-Überprüfung: Prüfen Sie das SBOM des NIM, um dessen Komponenten und Abhängigkeiten zu verstehen (enthalten in NVIDIA AI Enterprise-Lizenzen). Authentizität überprüfen: NIM-Microservices werden als Container verteilt. Verwenden Sie den öffentlichen NVIDIA-Containersignaturschlüssel, um sicherzustellen, dass das Bild nicht manipuliert wurde. Ressourcen spiegeln (optional): Spiegeln Sie die vom Container benötigten Ressourcen, falls dies für abgeschottete Bereitstellungen gewünscht wird (z.B. Modellgewichte oder optimierte Backends). In Ihrer vertrauenswürdigen Umgebung bereitstellen: Starten Sie den Container in Ihrer Umgebung. NIM-Microservices werden als Webdienste mit OpenAPI-Spezifikationen bereitgestellt. Konfigurieren Sie die offenen Ports und befolgen Sie die Best Practices für TLS-Terminierung, Ingress, Lastausgleich oder Reverse-Proxy (wie bei anderen HTTP-Webdiensten). Modellaufichtigkeit überprüfen: NVIDIA stellt Modellsignaturen für eine wachsende Anzahl von Modellen auf NGC zur Verfügung. Updates erhalten: Abonnieren Sie den NGC-Benachrichtigungsdienst, um Benachrichtigungen zu erhalten, wenn NVIDIA Sicherheitsupdates, Fixes oder neue Features für den NIM-Container veröffentlicht. Vulnerability-Reporting integrieren: Überprüfen und laden Sie den VEX-Record für den Container herunter. Verwenden Sie ihn, um ihn mit Ihrem eigenen Vulnerability-Management-System zu korrelieren. Indem Unternehmen diese Richtlinien befolgen, können sie KI-Arbeitslasten, die von NVIDIA AI Enterprise gestützt werden, mit Sicherheit bereitstellen und verwalten. Dieser Ansatz ermöglicht es Ihnen, Ihre Sicherheits-, Compliance- und Betriebsziele auf der Grundlage sicherer, vertrauenswürdiger und sicherer KI zu erreichen. Branchenexperten loben die flexiblen und sicherheitsorientierten Ansätze von NVIDIA AI Enterprise. Sie betonen, dass NVIDIA die Bedürfnisse moderner Unternehmen gut versteht und innovative Technologien mit hohen Sicherheitsstandards vereint. NVIDIA ist bekannt für seine langjährige Expertise in der Entwicklung und Optimierung von KI-Technologien. Das Unternehmen setzt sich kontinuierlich für die Sicherheit und Transparenz in der KI-Industrie ein, was es zu einem verlässlichen Partner für Unternehmen macht, die sicher und effektiv KI einsetzen möchten.