購入量と収益、その両立 私たちは生成AIに質問を提示したり、画像を作成させたりするとき、大型言語モデルは知能のトークンを生成し、それらを組み合わせて結果を提供します。これをAI推理と呼びます。 一般的なAIは一連の質問に対して単発的な回答を提供しますが、エージェント型AIは異なるアプローチを取ります。エージェント型AIは複数の推論手法に分けて課題を解き、その過程で多くのトークンを生成します。これによって、より複雑なタスクを自動的に処理できます。 AIのインフラストラクチャは、一度に数百万人のユーザーにサービスを提供する巨大なシステムであり、AIファクトリーとも呼ばれています。AIファクトリーの製品は知能そのものであり、これは新しい産業革命を牵引する「機械」であると言えます。 AIファクトリーの最適化 AIファクトリーは、ユーザーごとのレスポンススピードと全体のシステムスループットをバランス良く管理することで最適な推理を実現します。これらのパフォーマンスを向上させるためには、FLOPS（フローピングポイント演算回数）と帯域幅を拡大することが重要です。 1メガワットの電力を消費するAIファクトリーで、NVIDIA Hopperは最大180,000トークン/秒（TPS）を生成できます。一方、最も速いユーザー対応では225TPSを達成します。ただし、実際の作業はこれらの中間点で行われ、各作業バッチは独自のパフォーマンス要件を持ちます。NVIDIA GPUは、NVIDIA CUDAソフトウェアを使用してこれらの多様なワークロードを柔軟に処理できます。 新世代のBlackwellアーキテクチャ 新世代のNVIDIA Blackwellアーキテクチャは、Hopperよりもさらに大きな性能向上をもたらします。ハードウェアとソフトウェアの最適化により、Blackwellは時間とともにより速く、効率的になります。さらに、NVIDIA Dynamoという新OSを使用することで、開発者はワークロードを自律的に最適化でき、さらなる効率向上が期待できます。 Dynamoは推論タスクを小さなコンポーネントに分割し、利用可能な最適な計算リソースに動的にルーティングおよびリルーティングを行います。HopperからBlackwellへの一世代ごとのプロセッサアーキテクチャの進化により、同じエネルギーでAI推論性能が50倍向上します。これは、NVIDIAのフルスタック統合技術と先進的なソフトウェアが、チップアーキテクチャのアップグレード間の大きな速度と効率のブーストをカスタマーにもたらします。 性能の継続的な向上 NVIDIAは、ハードウェアからソフトウェア、計算からネットワーキングまで、性能向上に取り組んでいます。それぞれの進歩は、NVIDIAのパートナーや世界中の顧客に対する生産性の向上につながり、疾病の治療、気候変動の逆転、宇宙の greatest 秘密の解明などの重大な課題解決にも寄与します。 これこそが計算が資本となり、進歩をもたらす道です。