ネイティブスパースアテンション

ネイティブ・スパース・アテンション（NSA）は、DeepSeek、北京大学、ワシントン大学によって2025年2月27日に提案された、ネイティブで学習可能なスパース・アテンション機構です。NSAは、長シーケンスモデリングにおける計算ボトルネックの問題を解決することを目的としています。この手法は、アルゴリズムの革新とハードウェアの最適化を組み合わせることで、効率的な長コンテキストモデリングを実現します。ネイティブスパースアテンション: ハードウェアに合わせたネイティブ学習可能なスパースアテンション」はACL 25 Best Paper Awardを受賞しました。

270億パラメータのTransformerバックボーンモデルで事前学習済みのNSAは、一般的なベンチマーク、ロングコンテキストタスク、推論タスクにおいて、完全接続アテンションモデルと同等以上のパフォーマンスを実現します。64k長のシーケンスを処理する場合、NSAはデコード、フォワードプロパゲーション、バックプロパゲーションにおいて大幅な高速化を実現します。