HyperAIHyperAI

Command Palette

Search for a command to run...

الاهتمام المتفرق الأصلي

التاريخ

منذ 3 أشهر

الانتباه المتفرق الأصلي (NSA) هو آلية انتباه متفرق أصلية قابلة للتدريب، اقترحتها شركة DeepSeek وجامعة بكين وجامعة واشنطن في 27 فبراير 2025. تهدف هذه الطريقة إلى حل مشكلة الاختناق الحسابي في نمذجة التسلسلات الطويلة. تجمع هذه الطريقة بين الابتكار الخوارزمي وتحسين الأجهزة لتحقيق نمذجة فعالة للسياقات الطويلة.الانتباه المتفرق الأصلي: الانتباه المتفرق المتوافق مع الأجهزة والقابل للتدريب بشكل أصلي"، والتي فازت بجائزة ACL 25 لأفضل ورقة بحثية.

بفضل تدريبه المسبق على نموذج تحويل أساسي ذي 27 معلمة، يحقق NSA أداءً مماثلاً أو أفضل من نماذج الانتباه المتصلة بالكامل في معايير الأداء الشائعة، ومهام السياق الطويل، ومهام الاستدلال. عند معالجة تسلسلات بطول 64 ألف، يحقق NSA تسريعًا ملحوظًا في فك التشفير، والانتشار الأمامي، والانتشار الخلفي.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
الاهتمام المتفرق الأصلي | الموسوعة | HyperAI