الانتباه عند الحاجة

تتكون النماذج القائمة على الترانسفورمر من كتل متداخلة من نوع "الغذاء الأمامي" التي تُمثّل المعنى المحتوى، وكتل "الانتباه الذاتي" الأكثر تكلفة نسبيًا التي تُمثّل المعنى السياقي. وفي هذه الورقة البحثية، استكشفنا التنازلات والتسلسل المتبقي بين هذه الكتل بهدف تحسين معمارية الترانسفورمر الحالية، واقترحنا نموذج PAR Transformer. ويحتاج هذا النموذج إلى وقت معالجة أقل بنسبة 35% مقارنةً بـ Transformer-XL، وذلك من خلال استبدال حوالي 63% من كتل الانتباه الذاتي بكتل غذاء أمامي، مع الحفاظ على مستوى التباس (perplexity) على معيار تقييم نمذجة اللغة WikiText-103. وتم التحقق من نتائجنا بشكل إضافي على مجموعتي بيانات text8 و enwiki8، وكذلك على نموذج BERT.