Transformer هي RNN: تحويلات سريعة ذات ارتباط تلقائي واهتمام خطي

تحقيق نماذج التحويل (Transformers) أداءً ملحوظًا في العديد من المهام، لكنها تواجه بطءًا كبيرًا في تطبيقها على التسلسلات الطويلة جدًا نظرًا لتعقيدها التربيعي بالنسبة إلى طول المدخلات. وللتغلب على هذا التحدي، نُعبّر عن الانتباه الذاتي (self-attention) كناتج داخلي خطي لخرائط الميزات النواة (kernel feature maps)، ونستفيد من خاصية الترابط (associativity) في عمليات ضرب المصفوفات لتقليل التعقيد من $\mathcal{O}\left(N^2\right)$ إلى $\mathcal{O}\left(N\right)$، حيث تمثل $N$ طول التسلسل. ونُظهر أن هذه الصيغة تسمح بتنفيذ تكراري (iterative) يُسرّع بشكل كبير نماذج التحويل المتسلسلة (autoregressive transformers)، كما تكشف عن العلاقة بينها وبين الشبكات العصبية التكرارية (recurrent neural networks). وتُظهر النماذج الخطية للتحويل (linear transformers) أداءً مشابهًا للنماذج الأصلية (vanilla transformers)، مع تسريع يصل إلى 4000 مرة عند التنبؤ بالسلسلة الطويلة جدًا في النماذج المتسلسلة.