فرضية المسارات المعلوماتية: النماذج المحورة هي مجموعات ذاتية ديناميكية

تستخدم نماذج الترانسفورمر آلية الانتباه الذاتي الكثيفة، التي تمنح مرونة كبيرة في التوصيل على مسافات طويلة. ومع التقدم عبر طبقات متعددة في نموذج ترانسفورمر عميق، يزداد عدد الأنماط الممكنة للتوصيل بشكل أسي. ومع ذلك، فإن عدد هذه الأنماط التي تسهم فعلاً في أداء الشبكة يكون قليلاً جداً، وحتى أقل من ذلك بكثير هي ضرورية. نفترض وجود شبكات فرعية متباعدة داخل الترانسفورمر، تُعرف بمسارات المعلومات، والتي يمكن تدريبها بشكل مستقل. ولكن الطبيعة الديناميكية (أي المعتمدة على المدخلات) لهذه المسارات تجعل من الصعب إزالة الانتباه الذاتي الكثيف أثناء التدريب. ومع ذلك، فإن التوزيع العام لهذه المسارات غالبًا ما يكون قابلاً للتنبؤ به. ونستغل هذه الحقيقة لاقتراح استراتيجية تدريب عامة تُسمى "الانتباه الذاتي المُعدَّل عشوائياً" (SSA)، وهي استراتيجية تقلل من تكلفة الذاكرة والحساب في الانتباه الذاتي بنسبة 4 إلى 8 أضعاف أثناء التدريب، مع أن تكون في الوقت نفسه وسيلة تقوية (Regularization) تُحسّن التعميم مقارنة بالتدريب الكثيف. نُظهر أن مجموعة من النماذج الفرعية يمكن تكوينها من خلال المسارات المُعدَّلة عشوائياً داخل الشبكة، والتي يمكن أن تحقق أداءً أفضل من نموذجها المُعتمد على الانتباه الكثيف. أجرينا تجارب على مجموعة متنوعة من مهام التعلم اللغوي الطبيعي، ورؤية الحاسوب، وتعلم الرسوم البيانية، في بيئات توليدية وتمييزية، لتوفير أدلة تجريبية على ادعاءاتنا، وتقديم دليل على فعالية المنهج المقترح.