مُسَي: انتباه متعدد المقياسات متوازٍ لتعلم التسلسل إلى التسلسل

في التعلم المتسلسل إلى المتسلسل، تُظهر آلية الانتباه الذاتي فعالية كبيرة، وتحقق تحسينات ملحوظة في العديد من المهام. ومع ذلك، ليست آلية الانتباه الذاتي خالية من العيوب. وعلى الرغم من قدرتها على نمذجة الاعتماديات الطويلة جدًا، فإن الانتباه في الطبقات العميقة يميل إلى التركز المفرط على تسلسل واحد فقط من الرموز (tokens)، مما يؤدي إلى استخدام غير كافٍ للمعلومات المحلية، ويُصعّب تمثيل التسلسلات الطويلة. في هذا العمل، نستكشف تعلم التمثيل المتوازي متعدد المقياس على بيانات التسلسل، بهدف التقاط الهياكل اللغوية الطويلة والمتوسطة المدى في آنٍ واحد. ولتحقيق هذا الهدف، نقترح نموذجين: MUSE (مُوازٍ متعدد المقياس للانتباه) وMUSE-simple. يحتوي MUSE-simple على الفكرة الأساسية لتعلم التمثيل المتسلسل متعدد المقياس المتوازي، حيث يقوم بتشفير التسلسل بشكل متوازٍ عبر مقياسين مختلفين باستخدام آلية الانتباه الذاتي والتحويلات النقطية (pointwise transformation). أما MUSE، فيبني على MUSE-simple، ويدرس دمج التصفية التلافيفية (convolution) مع الانتباه الذاتي لاستخلاص تمثيلات التسلسل من مقياسين مختلفين أكثر تنوعًا. نركز في هذا البحث على ترجمة الآلة، ونجد أن النموذج المقترح يحقق تحسنًا كبيرًا في الأداء مقارنةً بنموذج Transformer، وخاصةً في التسلسلات الطويلة. والأهم من ذلك، نلاحظ أن رغم بساطة الفكرة المفاهيمية، فإن نجاح النموذج في التطبيق يتطلب اعتبارات معقدة، ويجب أن يقوم الانتباه متعدد المقياس على فضاء معنوي موحد. وفي الإعدادات القياسية، يحقق النموذج المقترح أداءً متميزًا، ويتفوق على جميع النماذج السابقة في ثلاث مهام رئيسية لترجمة الآلة. بالإضافة إلى ذلك، يمتلك MUSE إمكانية تسريع عملية الاستنتاج بفضل طبيعته المتوازية. وسيتم توفير الكود على الرابط: https://github.com/lancopku/MUSE