PyTorch 2.15でMPSを大幅に高速化

Hugging FaceのPyTorchチームは2026年初頭、Mac向けMPSバックエンドを強化したPyTorch 2.15を発表した。Apple siliconのMacではmacOS 15以降とPython 3.11以降が必要で、MPS上でfloat8_e4m3fn形式のFP8テンソルとスケーリング付き行列積が使える。BF16より半分の容量で保持できる。 LLMのデコードでは密な線形層に専用カーネルを導入し、MoEモデル向けにGPU上で処理するグループ行列積をネイティブ実装した。M3 Ultra環境ではQwen3.6-35B-A3Bの生成速度が毎秒9.4トークンから61.3トークンへ約6.5倍向上。語彙向けソフトマックスは約8倍高速化した。 線形代数では複素LU分解、三角求解、小行列の逆行列、QR分解、SVDの安定性を改善した。音声、動画、学習ではパディング、ドロップアウト、畳み込み、補間逆伝播をMetalカーネルへ移行した。Wan2.2の動画VAEデコードでは、ドライバ側メモリピークが約270GiBから8GiBに低下した。 また、PythonからMPSストリームを指定でき、メモリ追跡とイベントタイミングを改善した。次期2.16ではスケーリング付き内積アテンションの全面Metal化、MPSGraphからMetalへの移行、配布ファイル縮小、LLMデコードのさらなる高速化が見込まれる。