DeepSeek DSec ermöglicht skalierbares Agenten-Training

DeepSeek hat mit DeepSeek Elastic Compute, kurz DSec, eine hochskalierbare Sandbox-Infrastruktur für das Training autonomer KI-Agenten vorgestellt. Die von einem ausgiebigen Forscherteam der Firma entwickelte Plattform adressiert die komplexen Anforderungen statefuler Execution-Umgebungen, die für die Interaktion großer Sprachmodelle mit externen Tools, Repositories und Diensten notwendig sind. In einer aktuellen Veröffentlichung auf arXiv beschreiben die Autoren, wie DSec isolierte Ausführung in großen Lastspitzen effizient bewältigt und dabei heterogene Isolationsanforderungen sowie langfristige State-Beibehaltung unterstützt. Die Architektur stellt über ein einheitliches SDK verschiedene Sandbox-Backends zur Verfügung, darunter FnCall, Container, MicroVMs und Full-VMs. Ein zentrales Koordinationsmodul steuert die Platzierung und den Lebenszyklus der Sandboxen im Cluster. Durch die Komposition von Umgebungen aus unabhängig versionierten Layers, kombiniert mit speichereffizienten Sharing- und Reclaim-Mechanismen sowie optimiertem CPU-Scheduling, ermöglicht die Plattform eine hochdichte Ausführung. Die Ladung der Basis-Images erfolgt bedarfsgerecht über das clustereigene, hochperformante verteilte Dateisystem 3FS. Entscheidend für den produktiven Einsatz ist die nahtlose Integration in das Reinforcement-Learning-Framework von DeepSeek. DSec entkoppelt die statefulen Rollout-Ausführungen von den präemptiv beendbaren GPU-Trainingsjobs. Dadurch können Rollout-Zustände während des Trainings erhalten bleiben, während im Leerlauf stehende Ressourcen effektiv zurückgewonnen werden. Dieses Design mindert zudem typische Risiken im Agententraining, wie etwa Reward Hacking, und gewährleistet eine stabile Latenz auch bei starkem Overcommit. Die aktuellen Produktionsdaten belegen die enorme Skalierbarkeit der Infrastruktur. Eine einzelne DSec-Einheit umfasst rund 160 Nodes und bewältigt täglich etwa drei Millionen Sandbox-Instanzen. Im Produktivbetrieb werden über 380.000 parallele Sandboxen betrieben, wobei die Plattform eine Erzeugungsrate von mehr als 5.000 Instanzen pro Sekunde leistet. Die Evaluierung zeigt, dass die vorgestellten Mechanismen Overheads bei der Umgebungseinrichtung und Bildverteilung signifikant reduzieren, die Speichereffizienz steigern und latency-sensitive Workloads auch unter hoher Auslastung stabil halten. Mit DSec stellt DeepSeek eine fundamentale Basisinfrastruktur vor, die das Training komplexer, agentenbasierter KI-Systeme auf industrieller Ebene effizienter und zuverlässiger macht.