HyperAIHyperAI

Command Palette

Search for a command to run...

vor einem Tag
LLM
Generative KI

Foundry Managed Compute integriert Hugging Face-Modelle

Auf der Microsoft Build 2026 hat Microsoft die Plattform Microsoft Foundry sowie die neue Funktion Foundry Managed Compute vorgestellt. Im Zentrum steht eine direkte Integration ausgewählter Open-Weight-Modelle aus dem Hugging-Face-Ökosystem in den Foundry-Modellkatalog. Dieser Ansatz vereint die Breite der Community-Entwicklung mit der betriebsbereiten Infrastruktur von Microsoft Azure. Microsoft Foundry dient als einheitliche Plattform für den Aufbau und Betrieb agentic-AI-Anwendungen. Bisher konnten Unternehmen über einen zentralen Endpoint Modelle von Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek und anderen nutzen. Die neu eingeführte Managed-Compute-Funktion erweitert das Deployment-Portfolio um eine verwaltete GPU-Platform-as-a-Service für Open-Source- und Custom-Modelle. Entwickler definieren nur noch workload-relevante Parameter wie Parameteranzahl, Kontextlänge sowie Latenz- oder Durchsatzoptimierung. Die zugrundeliegende GPU-Topologie und Ressourcenverwaltung übernimmt die Plattform automatisch. Die Hugging-Face-Integration adressiert traditionelle Hürden im enterprise-Umfeld. Microsoft kuratiert wöchentlich neue Modelle basierend auf Community-Signalen und Kundenanforderungen. Jeder Eintrag durchläuft einen mehrstufigen Freigabeprozess: Lizenzprüfung, Sicherung gegen unsicheren Code, Container-Erstellung mit CVE-Scans sowie Validierung von API-Konformität und Performance. Die Modellgewichte werden direkt in Azure-Speichern vorab geladen, sodass Deployments vollständig innerhalb geschützter Netzwerke ohne externen Hub-Zugriff möglich sind. Als Inference-Runtimes kommen etablierte Open-Source-Engines zum Einsatz, die architekturnahe Optimierung bieten. Dazu zählen vLLM und SGLang für LLMs und multimodale Modelle, TEI für Embedding-Modelle, llama.cpp für kosteneffiziente CPU-Szenarien sowie TensorRT-LLM und NIM für NVIDIA-Hardware. Microsoft übernimmt zudem automatische Runtime-Updates und Sicherheitspatches ohne Neudeployment der Modelle. Die Nutzung erfolgt über vordefinierte Deployment-Vorlagen, die Runtime, Beschleunigerfamilie, Kontextlänge und spezifische Tuning-Parameter bündeln. Die Modelle lassen sich per Portal, CLI, REST oder SDK bereitstellen und sprechen eine OpenAI-kompatible Unified-Endpoint-Schnittstelle an. Dadurch lassen sich Open-Weight-Modelle nahtlos in Foundry Agents integrieren, profitieren von Multi-Agent-Orchestrierung, Knowledge Grounding und durchgängiger Observability. Aktuell befindet sich die Hugging-Face-Collection in der Vorschau. Verfügbare Hardware umfasst NVIDIA A100, NVIDIA H100 und AMD MI300X in Global- und Data-Zone-Szenarien. Die Plattform bietet Playground-Unterstützung, Azure Monitor-Metriken und deploymentspezifische Abrechnung. Der Fokus liegt weiterhin auf der Expansion des Katalogs, zusätzlichen Beschleunigerfamilien und der geplanten Unterstützung für eigenständige Fine-Tunes unter Einhaltung derselben Governance-Standards. Mit diesem Schritt überführt Microsoft die agile Open-Source-Modellentwicklung in eine produktionsreife, sicherheitsgeprüfte und vollständig verwaltete Enterprise-Infrastruktur.

Verwandte Links