随着大语言模型与生成式AI规模持续膨胀，训练成本与工程迭代周期成为关键瓶颈。英伟达近期推出基于Hopper与Blackwell架构的算力优化方案，通过引入FP8与NVFP4等低精度算子，显著提升Transformer架构的训练效率。Transformer的耗时主要集中在通用矩阵乘法上，但并非所有计算单元都能直接从低精度中获益。英伟达建议开发者利用Transformer Engine工具链，将模型配置转化为具体的矩阵维度，并通过微基准测试精确评估不同精度下的性能表现。 实测表明，低精度加速效果高度依赖矩阵规模与计算图结构。以CodonFM生物大模型为例，小规模矩阵受量化开销拖累，加速比微弱；而大规模多层感知机矩阵则可实现显著加速。测试需区分Autocast与Prequantized两种模式：前者包含动态量化成本，更贴近实际训练场景；后者剥离量化开销，反映张量核心理论吞吐量。此外，Blackwell架构上FP8延迟缩放算法因开销更低，在实测中表现优异。开发者可通过日志或显存监控验证内核调度状态。 该方案帮助研发团队在投入全量训练前精准匹配最优精度，有效平衡算力开销与迭代速度，为下一代大模型的高效训练提供技术路径。