HyperAIHyperAI

Command Palette

Search for a command to run...

Trainium3 Ultra 服务器重磅上市:低成本高效训练部署AI模型新标杆

亚马逊云科技(AWS)在拉斯维加斯举行的AWS re:Invent大会上宣布,搭载其首款3纳米AI芯片Trainium3的EC2 Trn3 UltraServers正式上线,助力客户更快速、低成本地训练和部署人工智能模型。 Trn3 UltraServers在AI工作负载性能上实现显著提升,相比前代Trainium2 UltraServers,计算性能最高提升4.4倍,能效提升4倍,内存带宽接近提升4倍,大幅加快AI开发速度并降低运营成本。单台服务器可扩展至144颗Trainium3芯片,提供高达362 PFLOPs的FP8算力,延迟降低4倍,支持更大规模模型的快速训练与高效推理。 目前,包括Anthropic、Karakuri、Metagenomi、NetoAI、Ricoh和Splash Music在内的多家客户已使用Trainium技术,将AI训练和推理成本降低最高达50%。Decart公司更实现生成式视频实时推理速度提升4倍,成本仅为GPU方案的一半。同时,亚马逊自研的AI服务Amazon Bedrock已开始在生产环境中使用Trainium3芯片。 作为AWS持续推动AI普惠战略的一部分,Trn3 UltraServers进一步强化了其在生成式AI领域的基础设施优势。凭借全球领先的云服务网络和全面的AI能力,AWS正帮助各类规模的企业加速创新,将前沿构想转化为现实。

相关链接