オープンソースモデルKimi K3はパラメータ数2.8兆を有し、1MコンテキストのKVキャッシュ追加で1.5TB超のVRAMを要するため、単独ノード推論には高容量HBM搭載GPUが必須となる。Waferの分析によれば、AMD MI355XはNVIDIA B300やB200に対し単体あたり約1.7〜2.4倍の低コストで同等スペックを提供。ベンチマーク結果では、MI355X単一ノードのピークスループットが952tok/sに達し、B200二ノード構成と比較して集約スループットで約3.8倍、シングルストリームデコードで約1.3倍を記録。B300より集約性能は劣るものの、価格対効果では断然優位。 性能安定化にはソフトウェアスタックの調整が鍵だった。推論フレームワークSGLangのROCm環境では、スペキュラティブデコード実行時に欠落関数定義によるスケジューラークラッシュが発生。カスタムカーネルを要さずPython関数追加で修正し、シングルストリーム性能を約2.2倍向上。また、プリフェイル速度は初期段階でMI355Xが大幅に遅延していたが、高速AITER MLAカーネルがヘッド数12に非対応だったため、パディングで16に調整し適用。プリフェイル速度を約2〜3倍高速化し、ユーザー体感レイテンシーを改善した。 本結果は、モデル大容量化の潮流において、AMDのHBM設計がNVIDIAに対し実用的なコスト優位性を持つことを示す。最適化のハードルも実用レベルに低下しており、CUDAのエコシステム優位性を揺るがす新たな推力となり得る。