HyperAIHyperAI

Command Palette

Search for a command to run...

AWS、3nmプロセスのTrainium3搭載UltraServersを一般提供へ—AIモデルの学習・推論を最大4.4倍高速化、コストは半減

Amazon Web Services(AWS)は、AIモデルの学習と推論を高速かつ低コストで実行できる「Trainium3 UltraServers」の一般提供を、AWS re:Invent 2023で発表した。この新サーバーは、AWSが開発した初の3nmプロセスAIチップ「Trainium3」を搭載しており、組織の規模を問わず、大規模なAIワークロードを効率的に処理できる。 Trainium3 UltraServersは、前世代のTrainium2 UltraServersと比較して、計算性能が最大4.4倍、エネルギー効率が4倍、メモリ帯域幅がほぼ4倍に向上。これにより、AIモデルの開発スピードが飛躍的に向上し、運用コストの削減が可能となる。最大144個のTrainium3チップを搭載し、FP8精度で最大362 PFLOPsの性能を実現。モデルの学習速度が飛躍的に向上し、リアルタイム推論も大規模に実行できる。 実際の導入事例では、AnthropicやKarakuri、Metagenomi、NetoAI、Ricoh、Splash Musicなどの企業が、Trainiumを活用することで学習や推論コストを最大50%削減。Decartは、生成動画のリアルタイム処理において、従来のGPU比で4倍の高速化とコスト半額を達成した。また、AWSの生成AIサービス「Amazon Bedrock」もすでにTrainium3で本番ワークロードを処理している。 AWSは、20年間にわたり技術の民主化を推進し、クラウドと生成AIをあらゆる規模の組織に提供。世界最大規模のAIインフラとグローバルな基盤を活かし、イノベーションの加速を支援している。 Trainium3 UltraServersの登場により、AI開発の効率性と経済性がさらに高まり、企業のAI戦略の実現が加速する。

関連リンク

AWS、3nmプロセスのTrainium3搭載UltraServersを一般提供へ—AIモデルの学習・推論を最大4.4倍高速化、コストは半減 | 人気の記事 | HyperAI超神経