HyperAIHyperAI

Command Palette

Search for a command to run...

Google
LLM

Google lance les TPUs 8tx et 8i Max pour l'ère agentique

Google Cloud a étoffé sa huitième génération de Tensor Processing Units, les accélérateurs dédiés aux modèles d'IA, avec deux nouveaux systèmes, TPU 8i Max et TPU 8tx, présentés après les modèles 8t et 8i dévoilés en avril lors de Google Cloud Next. Ces deux apports portent à quatre le nombre de configurations TPU lancées en une seule année, une première pour l'entreprise, qui revendique près de cent clients pour une activité en croissance. Les systèmes 8t et 8i promettaient déjà jusqu'à 2,7 fois de gain en entraînement et 80 % de meilleure rentabilité en inférence par rapport à la génération précédente. TPU 8i Max vise les charges impliquant de très longues fenêtres de contexte, notamment les agents autonomes qui doivent raisonner sur des millions de jetons, l'unité textuelle manipulée par les modèles, avec la plus forte densité de calcul par rack de la gamme. TPU 8tx, basé sur le même silicium que 8t et associé à des hôtes AMD EPYC de cinquième génération, est conçu pour l'inférence confidentielle et le petit entraînement. Il s'adresse aux secteurs régulés et aux administrations qui utilisent des modèles propriétaires ou des agents avec des données sensibles. Google indique que les données et les poids des modèles restent protégés directement au niveau matériel, même pendant leur traitement, alors que la plupart des systèmes ne chiffrent généralement que les données au repos ou en transit. Grâce au réseau faible latence Boardfly, 8tx offre jusqu'à deux fois moins de latence que 8t, avec une perte de performance quasi nulle, tout en permettant de fine-tuner, distiller ou entraîner des agents sans déplacer les données entre clusters. L'annonce dépasse le seul silicium. Google met en avant une approche système où calcul, réseau, mémoire et sécurité sont assemblés pour répondre plus vite aux besoins des agents. Sur le logiciel, l'entreprise dit avoir rendu les TPU plus accessibles aux développeurs PyTorch grâce à TorchTPU, vLLM, SGLang, un XLA Serving Engine et une suite d'agents open source pour automatiser l'adaptation des kernels. Des benchmarks InferenceX et AgentX sont cités comme montrant un prix-performance de premier plan sur des tâches réalistes de codage et de contexte long. Google présente aussi des nouveautés pour les infrastructures d'agents: Agent Compute Engine suspend les sessions inactives pour réduire les coûts, TPU Sync unifie mémoire, stockage et réseau afin de déplacer les caches KV en millisecondes et de réduire la latence de réponse de plus de 90 %, tandis que Cloud Pathways et le dynamic slicing de GKE facilitent la répartition des charges sur plusieurs machines et topologies. Selon l'entreprise, cette vitesse de livraison repose sur la co-conception entre ingénieurs TPU, équipes réseau, compilateurs et Google DeepMind, ainsi que sur l'usage croissant d'outils d'IA pour concevoir la prochaine génération de puces.

Liens associés