Accélérateurs à l'échelle de la wafer : Une avancée majeure pour l'IA et l'environnement

Les accélérateurs à échelle puce pourraient redéfinir l'IA Dans une revue technologique récente publiée par des ingénieurs de l'UC Riverside dans la revue Device, l'équipe explore le potentiel d'une nouvelle génération de puces d'ordinateurs appelées accélérateurs à échelle puce. Ces puces massives, fabriquées par Cerebras, sont construites sur des siliciums de la taille d'une assiette à dessert, contrairement aux unités de traitement graphique (GPU) traditionnelles, qui sont à peine plus grandes qu'un timbre-poste. Des processeurs à échelle puce plus puissants et plus efficaces Selon l'étude menée par les spécialistes de l'UCR, les processeurs à échelle puce, comme le Cerebras Wafer-Scale Engine 3 (WSE-3), offrent une puissance de calcul et une efficacité énergétique supérieures, essentielles à mesure que les modèles d'IA deviennent de plus en plus vastes et complexes. Le WSE-3 possède 4 trillions de transistors et 900 000 cœurs spécifiques à l'IA sur une seule puce. Comparativement, le Tesla Dojo D1 dispose de 1,25 trillion de transistors et près de 9 000 cœurs par module. Ces systèmes sont conçus pour éliminer les goulets d'étranglement liés aux communications entre les puces, en centralisant toutes les opérations sur une seule puce. L'émergence d'un nouveau standard Mihri Ozkan, professeure d'ingénierie électrique et informatique à l'École d'Ingénierie Bourns de l'UC Riverside et auteure principale de l'article, souligne : « La technologie à échelle puce représente un bond en avant majeur. Elle permet aux modèles d'IA comportant des trillions de paramètres de fonctionner plus rapidement et plus efficacement que les systèmes traditionnels. » Les GPUs sont devenus indispensables dans le développement de l'IA grâce à leur capacité à effectuer de nombreuses opérations simultanément, ce qui est parfait pour traiter des images, des flux de langage et des données en parallèle. Cependant, avec l'augmentation de la complexité des modèles d'IA, même les GPUs de haut niveau commencent à rencontrer des limites de performance et d'énergie. Avantages et limitations L'article compare les puces GPU standards actuelles avec les systèmes à échelle puce tels que le Cerebras WSE-3. Grâce à l’intégration des composants sur une unique puce, ces technologies évitent les délais et les pertes d'énergie inhérents aux communications entre plusieurs petites puces. Par exemple, le WSE-3 peut réaliser jusqu'à 125 quadrillion d'opérations par seconde en utilisant une fraction de l'énergie requise par des systèmes comparables basés sur GPU. Son architecture permet de garder les données locales, réduisant ainsi la consommation d'énergie et la production thermique. NVIDIA's H100 GPU, largement utilisé dans les centres de données modernes, offre une flexibilité et un débit élevés mais à un coût énergétique plus élevé. Avec un taux d'efficacité d'environ 7,9 trillion d'opérations par seconde par watt, il nécessite également une infinité d'infrastructures de refroidissement, souvent impliquant des quantités importantes d'eau. Diversité des applications et impact environnemental Malgré ces avantages, les processeurs à échelle puce ne conviennent pas à toutes les applications. Ils sont coûteux à produire et moins polyvalents pour les tâches à petite échelle. Les GPUs conventionnels, grâce à leur modularité et leur accessibilité, demeurent cruciaux dans de nombreux domaines. Ozkan explique : « Les processeurs GPU ne disparaîtront pas. Mais les accélérateurs à échelle puce deviennent indispensables pour entraîner les modèles d'IA les plus avancés. » Ces processeurs trouvent déjà des applications dans les simulations climatiques, l'ingénierie durable et les modèles de capture de carbone. Un pas en avant pour le respect de l'environnement La revue aborde également une préoccupation croissante dans le domaine de l'IA : la durabilité. Les centres de données alimentés par des GPU consomment d'énormes quantités d'électricité et d'eau pour rester frais. Les processeurs à échelle puce, en réduisant le trafic interne des données, consomment beaucoup moins d'énergie par tâche. Cerebras indique que les charges de travail d'inférence sur son système WSE-3 utilisent seulement un sixième de l'énergie de configurations cloud équivalentes basées sur GPU. Cette technologie aide à accélérer les recherches sur la durabilité, contribuant ainsi à la fois à l'efficacité informatique et à la protection de l'environnement. Défis de refroidissement Toutefois, la chaleur reste un défi majeur. Avec une puissance thermique de conception atteignant 10 000 watts, les puces à échelle puce nécessitent un refroidissement avancé. Cerebras utilise un circuit de refroidissement à base de glycol intégré au paquetage de la puce, tandis que Tesla met en place un système de refroidissement qui répartit uniformément un liquide de refroidissement sur la surface de la puce. Une approche holistique de la durabilité Les auteurs insistent sur le fait que jusqu'à 86% du bilan carbone d'un système provient de la fabrication et de la chaîne d'approvisionnement, et non seulement de l'utilisation énergétique. Ils encouragent l'utilisation de matériaux recyclables et d'alliages à faible émission, ainsi que la mise en place de pratiques de conception sur cycles de vie complets. « L'efficacité commence dans les usines, » affirme Ozkan. « Pour véritablement réduire l'impact de l'informatique, nous devons repenser l'ensemble du processus, de la puce à la gestion des déchets. » Cette revue s'appuie sur une collaboration interdisciplinaire approfondie et vise à servir de feuille de route pour les chercheurs, les ingénieurs et les décideurs politiques naviguant vers l'avenir du matériel d'IA. Évaluation par des professionnels Selon les experts de l'industrie, les accélérateurs à échelle puce pourraient jouer un rôle crucial dans l'avancement de l'IA, notamment dans le traitement de tâches requiring des ressources intensives et dans la réduction de l'empreinte environnementale des systèmes de calcul. Cerebras, pionnier dans ce domaine, continue d'innover en proposant des solutions matérielles intégrées et économes en énergie. L'adoption de ces technologies pourrait non seulement accélérer les progrès scientifiques mais aussi participer à une industrie informatique plus durable.