الاهتمام المتفرق الأصلي
Date
الانتباه المتفرق الأصلي (NSA) هو آلية انتباه متفرق أصلية قابلة للتدريب، اقترحتها شركة DeepSeek وجامعة بكين وجامعة واشنطن في 27 فبراير 2025. تهدف هذه الطريقة إلى حل مشكلة الاختناق الحسابي في نمذجة التسلسلات الطويلة. تجمع هذه الطريقة بين الابتكار الخوارزمي وتحسين الأجهزة لتحقيق نمذجة فعالة للسياقات الطويلة.الانتباه المتفرق الأصلي: الانتباه المتفرق المتوافق مع الأجهزة والقابل للتدريب بشكل أصلي"، والتي فازت بجائزة ACL 25 لأفضل ورقة بحثية.
بفضل تدريبه المسبق على نموذج تحويل أساسي ذي 27 معلمة، يحقق NSA أداءً مماثلاً أو أفضل من نماذج الانتباه المتصلة بالكامل في معايير الأداء الشائعة، ومهام السياق الطويل، ومهام الاستدلال. عند معالجة تسلسلات بطول 64 ألف، يحقق NSA تسريعًا ملحوظًا في فك التشفير، والانتشار الأمامي، والانتشار الخلفي.
Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.