Shortformer: نمذجة لغوية أفضل باستخدام مدخلات أقصر

أصبح زيادة طول المدخلات عاملاً محورياً في تقدم نماذج اللغة التي تعتمد على المحولات (transformers). نحدد الظروف التي لا يكون فيها استخدام مدخلات أقصر ضاراً، ونحقق تحسينات في الالتباس (perplexity) والكفاءة من خلال طريقتين جديدتين تقللان من طول المدخلات. أولاً، نوضح أن تدريب النموذج في البداية على تسلسلات قصيرة قبل الانتقال إلى تسلسلات أطول يقلل من مدة التدريب الإجمالية، وفوق ذلك، يحسن بشكل ملحوظ من مستوى الالتباس. ثانياً، نوضح كيف يمكن تحسين كفاءة الطرق المتكررة (recurrence methods) في المحولات، التي تسمح للنماذج بالاعتماد على الرموز السابقة المعالجة عند إنتاج تسلسلات تتجاوز الطول الأقصى الذي يمكن للمحول معالجته دفعة واحدة. تعتمد الطرق الحالية على تمثيلات موضعية نسبية مكلفة حسابياً؛ نقدم بديلاً بسيطاً يتمثل في إضافة تمثيلات موضعية مطلقة إلى الاستفسارات (queries) والأساسات (keys) بدلًا من إضافتها إلى تمثيلات الكلمات، مما ينتج نتائج أفضل بكفاءة عالية. نوضح أن هذه النماذج المتكررة تُستفيد أيضًا من استخدام مدخلات قصيرة. وعند دمج هذه التقنيات، يُسرع التدريب بنسبة 1.65، ويُقلل الاستهلاك الذاكرة، ويُحسن بشكل كبير من مستوى الالتباس على مجموعة بيانات WikiText-103، دون الحاجة إلى إضافة أي معلمات.