HyperAIHyperAI

Command Palette

Search for a command to run...

Google
LLM

Google stellt TPU-Systeme 8tx und 8i Max für KI-Agenten vor

Google hat sein Portfolio der achten TPU-Generation um zwei Systeme erweitert: TPU 8i Max für sehr große Kontextfenster und die höchste Rechnerdichte pro Rack sowie TPU 8tx für sichere, vertrauliche Inferenz. Damit stellt das Unternehmen erstmals vier TPU-Systeme in einem Jahr vor, nachdem im April auf Google Cloud Next 8t für großes Training und 8i für Echtzeit-Inferenz eingeführt worden waren. Die Vorgänger 8t und 8i liefern gegenüber der vorherigen Generation laut Google bis zu 2,7-fache Trainingsleistung und 80 Prozent bessere Inferenz-Preis-Leistung. Die neue Generation adressiert zunehmend Anforderungen im agentischen KI-Betrieb, insbesondere millionentokenlange Kontexte und verschlüsselte Daten in regulierten Umgebungen. TPU 8tx nutzt dieselbe Siliziumbasis wie 8t, kombiniert sie jedoch mit AMD EPYC der fünften Generation und verankert Datensicherheit in der Hardware. Sensible Daten und Modellgewichte sollen auch während aktiver Verarbeitung geschützt und isoliert bleiben. Durch das Boardfly-Netzwerk für Niedriglatenz-Inferenz erreicht das System bis zu zwei Mal geringere Latenz als 8t, nahezu ohne Leistungsstrafe. Unternehmen können damit eigene Frontier- oder proprietäre Modelle und autonome Agenten auf vertraulichen Daten betreiben, Modelle feinabstimmen, große Modelle destillieren und Agenten über Reinforcement Learning trainieren, ohne sensible Daten zwischen separaten Clustern migrieren zu müssen. Technisch betont Google den Unterschied zwischen neuem Chip und neuem System. Während die Chipfertigung langwierig ist, wird durch modulare Systeme die Kombination aus Rechenleistung, Vernetzung, Speicher und Sicherheit schneller an Kundenbedürfnisse angepasst. Damit folgt Google der ursprünglichen Idee, TPUs als Bausteine der AI Hypercomputer zu entwickeln und spezialisierte Supercomputer in Monaten statt Jahren zu liefern. Zur besseren Verfügbarkeit der TPU-Plattform hat Google zudem die Software-Strategie erweitert. TorchTPU ist quelloffen und ermöglicht PyTorch-Code sowie Hugging-Face-Modelle nativ auf TPUs, inklusive Integrationen für vLLM und SGLang. Ein neues Agenten-Werkzeugpaket in der Vorschau automatisiert TPU-Onboarding, Fehlerdiagnose und Kernel-Autotuning über gängige KI-Coding-Tools. Mit der quelloffenen XLA Serving Engine können Modelle in Python trainiert und über C++-Runtimes auf TPUs, GPUs und CPUs bereitgestellt werden. Auf der Infrastrukturseite wurden mehrere Funktionen produktiv freigegeben oder veröffentlicht. Agent Compute Engine unterbricht inaktive Agentensitzungen und verschiebt Arbeitsspeicher von der Chip, um Leerlaufkosten zu senken. TPU Sync ist eine neue Modellzustandsschicht, die On-Chip-HBM, Host-DRAM, Shared Storage und Netzwerk als gemeinsames Speichersystem behandelt, massive KV-Caches auslagert, Kontexte über getrennte Prefill- und Decode-Knoten streamt und Reinforcement-Learning-Gewichte synchronisiert. Laut Google reduzieren sich dadurch KV-Transferlatenz und die Zeit bis zum ersten Token um mehr als 90 Prozent. Cloud Pathways steht auf Google Kubernetes Engine bereit und erlaubt die Steuerung großer TPU-Verbünde über einen einzelnen Controller, inklusive minutenschnellem Ersetzen betroffener TPU-Bereiche und elastischem Umschichten von Lasten. GKE Dynamic Slicing verwendet optisches Verbindungsschalten, um TPU-Cubes dynamisch zu größeren oder isolierten Topologien zusammenzuschalten; dadurch sollen Startzeiten bis zu fünf Mal und Fehlerwiederherstellungen bis zu 4,5 Mal schneller werden. Damit positioniert Google TPUs nicht mehr nur als interne Beschleuniger, sondern als breit nutzbare Plattform für Forschungslabore, Handelsunternehmen, Händler, Universitäten und regulierte Organisationen. Mit vier Systemen, einem offeneren Softwarestack und tiefen Integrationen in Kubernetes, PyTorch und offene Inferenzwerkzeuge zielt Google auf die gesamte agentische Entwicklungskette: vom Training über vertrauliche Inferenz bis zu kontextintensiven KI-Arbeitslasten. Zudem setzt Google auf enges Co-Design mit Google DeepMind, einschließlich AlphaChip und Gemini, um neue Chipentwürfe in Stunden statt Wochen zu generieren.

Verwandte Links