الملخص

نُقدِّم "Kimi Linear"، وهي بنية انتباه خطيّة هجينة، تُعدّ أول بنية تتفوّق على الانتباه الكامل في مقارنات عادلة عبر سيناريوهات متنوعة — بما في ذلك السياقات القصيرة، والطويلة، ونماذج التوسع في التعلّم بالتحفيز (RL). وتمثّل "Kimi Delta Attention" (KDA) الجوهر الأساسي لهذه البنية، وهي وحدة انتباه خطيّة قادرة على التعبير بدقة، تُطوّر مفهوم Gated DeltaNet من خلال آلية تَوْقِيف (gating) أكثر دقة، ما يمكّن من استغلال أكثر فعالية لذاكرة RNN المحدودة والمنتهية. كما تُحقّق الخوارزمية المخصّصة المبنية على "القطع" (chunkwise) كفاءة عالية في الأجهزة من خلال نسخة مُعدّلة من مصفوفات الانتقال من نوع "القطرية زائد ذات الرتبة المنخفضة" (DPLR)، التي تقلّل بشكل كبير من حجم الحساب مقارنةً بالصيغة العامة لـ DPLR، مع الحفاظ على اتساق أكبر مع قاعدة "الدلتا" الكلاسيكية.قمنا بتدريب نموذج "Kimi Linear" مسبقًا بـ 3 مليار مُعلّم نشط (3B activated parameters) و48 مليار مُعلّم إجمالي (48B total parameters)، مبنٍ على توليف هجيني طبقي يدمج بين KDA و"الانتباه المتعدد الرؤوس المخفي" (MLA). تُظهر تجاربنا أن، باستخدام وصفة تدريب متماثلة، يتفوّق "Kimi Linear" على "MLA الكامل" بفارق ملحوظ في جميع المهام المُختبرة، مع تقليل استهلاك ذاكرة التخزين المؤقت (KV cache) بنسبة تصل إلى 75%، وتحقيق سرعة تفكيك (decoding throughput) تصل إلى 6 أضعاف في سياق بطول 1 مليون. تُبيّن هذه النتائج أن "Kimi Linear" يمكن أن يكون بديلاً مباشرًا (drop-in replacement) لبنية الانتباه الكاملة، بتميّزها بأداء وفعالية متفوّقة، حتى في المهام التي تتطلب طولًا أطول في المدخلات أو المخرجات.ولدعم الأبحاث المستقبلية، نُفصح عن نواة (kernel) KDA ونُطلق نسخة vLLM المُتاحة مفتوحة المصدر، ونُطلق أيضًا نقاط التحقق (checkpoints) للنموذج المُدرّب مسبقًا والمُعدّل باستخدام التعليمات (instruction-tuned).