RealFormer: Transformer يشبه الانتباه المتبقِّي

يُعدّ المُحوّل (Transformer) العمود الفقري للنماذج الحديثة في معالجة اللغة الطبيعية (NLP). في هذه الورقة البحثية، نُقدّم RealFormer، وهي تقنية بسيطة وعامة لبناء شبكات مُحوّل ذات طبقات انتباه متكررة (Residual Attention Layer Transformer) تتفوّق بشكل كبير على المُحوّل الكلاسيكي ومشتقاته (مثل BERT، وغيرها) في طيف واسع من المهام، بما في ذلك نمذجة اللغة مع الحجب (Masked Language Modeling)، وملف GLUE، وSQuAD، والترجمة الآلية العصبية (Neural Machine Translation)، وWikiHop، وHotpotQA، وNatural Questions، وOpenKP. كما لاحظنا تجريبيًا أن RealFormer يُحسّن استقرار التدريب ويؤدي إلى نماذج تمتلك انتباهًا أدق (أقل كثافة). يمكن العثور على كود المصدر والنقاط المُدرّبة مسبقًا لـ RealFormer على الرابط التالي: https://github.com/google-research/google-research/tree/master/realformer.