La société leader des solutions open source, Red Hat, a récemment annoncé le lancement de l'innovant projet llm-d, visant spéciflement à répondre aux défis grandissants de l'inférence à grande échelle pour les modèles de génération d'IA. Ce projet rassemble des géants de l'industrie tels que CoreWeave, Google Cloud, IBM Research et NVIDIA en tant que contributeurs fondateurs, avec pour objectif d'améliorer significativement l'inférence des grands modèles linguistiques (LLM) en cloud, afin de remplir les objectifs de service les plus exigeants en production. Selon les dernières données de Gartner, on s'attend à ce que d'ici 2028, plus de 80% des charges de travail accélérées dans les centres de données soient dédiées à l'inférence plutôt qu'à l'entraînement. Cet indicateur souligne l'importance stratégique croissante de l'inférence. Cependant, l'augmentation constante de la complexité et de l'envergure des modèles d'inférence entraîne une demande croissante de ressources, limitant ainsi la viabilité des déploiements centralisés. Le coût élevé et les délais importants de latence deviennent des barrières majeures à l'évolution de l'IA, nécessitant des solutions technologiques novatrices. llm-d : Une plateforme unifiée innovante Red Hat et ses partenaires abordent ces défis grâce au projet llm-d, qui intègre des capacités d'inférence avancées dans les infrastructures IT existantes des entreprises. Cette plateforme unifiée permet aux équipes IT de répondre aux divers besoins de service liés aux charges de travail critiques tout en déployant des technologies innovantes pour maximiser l'efficacité et réduire considérablement le coût total de possession des accélérateurs d'IA à haute performance. L'un des principaux avantages de cette solution est qu'elle rompt avec les limitations des déploiements traditionnels d'inférence, offrant aux entreprises plus de flexibilité, d'efficacité et d'économies. Soutien d'une alliance industrielle puissante Le projet llm-d bénéficie du soutien d'une coalition robuste formée par des fournisseurs de modèles de génération d'IA, des pionniers des accélérateurs d'IA et des principales plateformes cloud IA. En plus des quatre contributeurs fondateurs, AMD, Cisco, Hugging Face, Intel, Lambda et Mistral AI, des acteurs majeurs, ont rejoint le projet, témoignant d'une coopération profonde au sein de l'industrie pour construire l'avenir des services à grande échelle basés sur les LLM. Mark Lohmeyer, Vice-Président et Responsable général du département IA et des infrastructures de calcul chez Google Cloud, a déclaré : « L'inférence efficace de l'IA est cruciale pour le déploiement à grande échelle de l'IA dans les entreprises et pour créer de la valeur pour les utilisateurs. À mesure que nous entrons dans l'ère de l'inférence, Google Cloud est fier de contribuer au projet llm-d, renforçant ainsi notre tradition de contributions open source. » Ujval Kapasi, Vice-Président en charge des frameworks d'IA chez NVIDIA, a ajouté : « Le projet llm-d est une contribution majeure au développement de l'écosystème IA open source, reflétant l'engagement de NVIDIA à stimuler l'innovation en IA générative par la collaboration. L'inférence à l'échelle et à haute performance est essentielle pour la prochaine vague d'IA générative et d'IA assistée. Nous travaillons en étroite collaboration avec Red Hat et les autres partenaires soutenant le projet pour accélérer le développement de llm-d, en utilisant des innovations comme NIXL de NVIDIA Dynamo. » Propulsion de la transformation industrielle par l'open source Le lancement du projet llm-d marque une nouvelle étape dans le domaine de l'inférence d'IA. En rassemblant les compétences de l'industrie grâce à un modèle d'open source, ce projet promet non seulement de résoudre les défis actuels liés au coût et aux performances de l'inférence à grande échelle, mais aussi de jeter les bases d'un développement durable pour l'ensemble de l'écosystème IA. Avec la participation croissante d'autres entreprises et développeurs, llm-d pourrait devenir une force majeure pour la standardisation et la démocratisation des technologies d'inférence d'IA, préparant ainsi le terrain pour l'ère de l'inférence qui s'annonce. Ce projet ouvre la voie à une inférence d'IA plus accessible et performante, en alignant les efforts de l'industrie vers desobjectifs communs d'innovation et de collaboration. llm-d représente donc un pas important vers l'avenir de l'IA, où l'efficacité et la réduction des coûts seront essentielles pour soutenir l'innovation continue et la croissance de l'industrie.