Red Hat携手谷歌、英伟达推出llm-d开源项目，破解大规模AI推理难题

全球开源领导者Red Hat近日启动了名为llm-d的开源项目，旨在解决大规模生成式AI推理过程中遇到的成本过高和延迟问题。此次项目得到了谷歌云、NVIDIA、CoreWeave、IBM研究院等多家行业巨头的支持，展现出强大的合作阵容。 随着AI技术的迅猛发展，生成式AI模型的复杂程度和规模也不断扩大，导致其资源需求激增。据Gartner预测，到2028年，超过80%的数据中心工作负载加速器将主要用于推理，而不再是训练。这意味着推理技术将成为AI生态系统中的重要组成部分。然而，高昂的成本和较长的延迟已经开始制约AI创新的步伐，尤其是在集中式推理部署方面，这些问题愈发突出。 为了解决这些挑战，红帽及其合作伙伴开发了llm-d这一统一平台。该平台能够将最先进的推理能力无缝集成到现有的企业IT基础设施中，使IT团队能够在保持服务质量的同时，大幅提升效率并降低高性能AI加速器的总体拥有成本。通过对资源的优化和调度，llm-d平台为企业提供了灵活、高效且成本可控的AI推理解决方案。 项目启动后，立即吸引了一批行业领先企业的关注和支持。除了四家创始贡献者外，AMD、思科、Hugging Face、英特尔、Lambda和Mistral AI等也加入了合作行列。这些公司的参与不仅丰富了技术生态，还提升了项目的可靠性和影响力。 谷歌云的AI与计算基础设施副总裁兼总经理Mark Lohmeyer表示，高效的AI推理对企业的大规模AI部署至关重要。他强调，谷歌云很高兴参与这一项目，这将进一步巩固其在开源领域的领先地位。NVIDIA工程AI框架副总裁Ujval Kapasi则指出，llm-d项目是对开源AI生态的重要补充，显示了NVIDIA在推动生成式AI创新方面的坚定承诺。他提到，通过与红帽及其他合作伙伴密切合作，NVIDIA正利用Dynamo等技术创新加速llm-d的发展。 总的来说，llm-d项目的启动标志着AI推理技术迈入了一个新的阶段。通过整合行业内的顶尖资源和技术，该项目有望破解目前大规模AI推理的成本和性能瓶颈，推动AI技术在各行各业的应用和发展。此外，llm-d的开源模式还将促进技术创新和标准化，为未来的AI生态系统注入新的活力。