要約

本稿では、Kimi Linearと呼ばれるハイブリッド型線形アテンションアーキテクチャを紹介する。本アーキテクチャは、短文文脈、長文文脈、強化学習（RL）スケーリングの各シナリオにおいて、公平な比較の下で初めてフルアテンションを上回る性能を達成した。Kimi Linearの核となるのは、ゲーテッド・デルタネット（Gated DeltaNet）を拡張した表現力豊かな線形アテンションモジュール「Kimi Delta Attention（KDA）」である。KDAは、より細粒度なゲーティング機構を導入することで、限られた有限状態RNNメモリをより効果的に活用可能にしている。また、独自に設計したチャンク単位のアルゴリズムにより、対角＋低ランク（Diagonal-Plus-Low-Rank, DPLR）遷移行列の特殊な変種を用いることで、一般のDPLR定式化と比較して大幅に計算量を削減しつつ、古典的なデルタルールとより一貫性のある挙動を維持している。 本研究では、KDAとマルチヘッド潜在アテンション（Multi-Head Latent Attention, MLA）のレイヤー単位のハイブリッド構成に基づき、有効パラメータ数30億、全パラメータ数480億のKimi Linearモデルを事前学習した。実験の結果、同一の学習プロトコル下で、Kimi Linearはすべての評価タスクにおいてフルMLAを顕著に上回り、KVキャッシュの使用量を最大75％削減し、100万トークンの文脈に対して最大6倍のデコードスループットを達成した。これらの結果は、Kimi Linearが、より長い入出力長を扱うタスクを含め、性能と効率の両面で優れたフルアテンションアーキテクチャの即時置き換え可能選択肢であることを示している。 本研究のさらなる発展を支援するため、KDAカーネルおよびvLLM実装をオープンソース化し、事前学習済みおよびインストラクションチューニング済みモデルのチェックポイントも公開する。