PyTorch 2.15 MPS:FP8 与解码提速
Hugging Face的PyTorch团队联合社区贡献者,在PyTorch 2.15中大幅升级Mac平台的MPS后端,使Apple Silicon Mac更适合运行和训练模型。新版本引入float8_e4m3fn FP8张量,存储空间减半并支持缩放矩阵乘,可显著缓解内存压力。MoE模型解码速度较2.14提升约5至6.5倍,Qwen3.6-35B-A3B在M3 Ultra上从9.4提升至61.3词元每秒,主要得益于原生分组矩阵乘、专用解码内核和更少CPU与GPU同步。普通语言模型同样受益,线性层矩阵向量内核和词汇表softmax最高提速约8倍。线性代数新增复数LU、三角求解、小矩阵求逆和QR优化。音频、视频与训练路径改进后,Wan2.2视频VAE解码峰值驱动内存由约270GiB降至8GiB。Python层新增公开MPS流与更可靠事件计时。该版本要求macOS 15和Python 3.11,2.16将继续把注意力运算迁移至Metal并提升解码性能。
此资讯由 AI 智能聚合生成,旨在高效传递行业动态,不代表任何观点或建议。