HyperAIHyperAI

Command Palette

Search for a command to run...

نهج استخلاص طول خالٍ من التدريب لـ LLMs: التفسير التباعي للانتباه والانسيابية اللوجستية (GALI)

Li Yan Zhang Tianyi Li Zechuan Han Soyeon Caren

الملخص

النماذج الكبيرة للغة المستندة إلى مُحَوِّل (Transformer-based Large Language Models (LLMs)) تواجه صعوبات عند التعامل مع المدخلات التي تتجاوز نافذة السياق التدريبي لها، نظرًا لمشاكل التوزيع الخارجي للوضعية (Positional Out-of-Distribution (O.O.D.)) التي تُعَرِّض انتباه النموذج للخلل. وتواجه الحلول الحالية، بما في ذلك التخصيص الدقيق (fine-tuning) والطرق التي لا تتطلب تدريبًا، تحديات مثل عدم الكفاءة، والتداخل المُكرر، والقيم الشاذة في المخرجات (logit outliers)، أو فقدان المعلومات الوضعية المحلية. نقترح طريقة "الاستدلال المُتَوَقِّع للمنطق الانتباهي" (Greedy Attention Logit Interpolation (GALI))، وهي طريقة لا تتطلب تدريبًا، تُحسِّن قدرة النموذج على التعميم لطول النصوص من خلال إعادة استخدام فترات الوضعية المُدرَّبة سابقًا بطريقة جشعية، وتطبيق تداخل لمنطق الانتباه لاستبعاد القيم الشاذة. تحقق GALI أداءً مستقرًا وفائقًا عبر مجموعة واسعة من المهام التي تتطلب سياقًا طويلًا، دون الحاجة إلى ضبط مخصص حسب طول المدخل. كما تُظهر تحليلاتنا أن النماذج الكبيرة للغة تُفسِّر فترات الوضعية بشكل غير متساوٍ، وأن تقييد التداخل ضمن نطاقات ضيقة يُحسِّن الأداء، حتى في المهام ذات السياق القصير. تمثل GALI خطوة مهمة نحو معالجة أكثر موثوقية وقابلية للتطبيق العام للنصوص الطويلة في النماذج الكبيرة للغة. تم إتاحة التنفيذ العملي لـ GALI، بالإضافة إلى تجارب الورقة البحثية، عبر الرابط التالي: https://github.com/adlnlp/Gali.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
نهج استخلاص طول خالٍ من التدريب لـ LLMs: التفسير التباعي للانتباه والانسيابية اللوجستية (GALI) | مستندات | HyperAI