私たちは、推論モデルの長時間デコーディングに特化した疎な注意枠組みであるSeerAttention-Rを紹介します。SeerAttentionから派生したSeerAttention-Rは、自己蒸留ゲーティング機構を通じて注意の疎性を学習する設計を維持しつつ、自動回帰デコーディングに対応するためにクエリプーリングを取り除いています。軽量なプラグイン型ゲーティングにより、SeerAttention-Rは既存の事前学習済みモデルに容易に統合でき、元のパラメータを変更することなく使用できます。AIMEベンチマークにおいて、わずか0.4Bトークンで学習されたSeerAttention-Rは、4Kトークン予算のもとで大きな疎な注意ブロックサイズ（64/128）でもほぼ損失のない推論精度を維持することが示されています。TileLangを使用して、H100 GPU上で90%の疎性においてFlashAttention-3よりも最大9倍近い理論的な高速化を達成する高最適化された疎なデコーディングカーネルを開発しました。コードは以下のURLで入手可能です: https://github.com/microsoft/SeerAttention.