HyperAIHyperAI

Command Palette

Search for a command to run...

Red Hat携手亚马逊云科技加速增强型AI推理落地

红帽公司(Red Hat)宣布与亚马逊云科技(AWS)深化合作,将推出基于AWS Trainium和Inferentia AI芯片的Red Hat AI解决方案,助力企业实现高效、灵活且可扩展的生成式人工智能(gen AI)推理部署。 此次合作旨在帮助IT决策者在不同硬件平台上高效运行大规模生产级AI工作负载。随着生成式AI的兴起,企业对可扩展推理能力的需求激增。据IDC预测,到2027年,40%的组织将采用定制芯片(如ARM处理器或AI/ML专用芯片)以提升性能、降低成本并满足专业化计算需求。 Red Hat此次推出的核心功能包括:基于vLLM框架的Red Hat AI推理服务器,将支持AWS Inferentia2和Trainium3芯片,实现对各类生成式AI模型的统一推理层,相比当前基于GPU的Amazon EC2实例,可提供30%至40%更优的性价比。同时,红帽与AWS共同开发了AWS Neuron Operator,集成至Red Hat OpenShift、Red Hat OpenShift AI及Red Hat OpenShift服务上AWS,为企业提供无缝、受支持的AI工作负载运行路径。 此外,红帽还发布了专为Ansible自动化平台设计的amazon.ai认证集合,帮助用户在AWS上高效编排AI服务。双方还共同推动AWS AI芯片插件开源至vLLM项目,进一步加速AI推理与训练能力的发展。vLLM作为Red Hat OpenShift AI 3中llm-d开源项目的基石,现已提供商业化支持。 该合作延续了红帽与AWS长期的技术协作,致力于满足企业在混合云环境中对AI集成的高效、安全与可管理需求。AWS Neuron社区Operator已上线Red Hat OpenShift OperatorHub,而Red Hat AI推理服务器对AWS AI芯片的支持预计将于2026年1月进入开发者预览阶段。 红帽表示,此次合作体现了其“任意模型、任意硬件”的战略,助力企业从AI实验转向可持续、受控的生产部署,推动生成式AI在关键业务场景中的规模化落地。

相关链接