في مايو 2025، اقترح فريق علي بابا تونغي تشيانوين فكرة "الانتباه المُقيّد" بالتعاون مع فرق بحثية من جامعة إدنبرة وجامعة ستانفورد وجامعات أخرى. نُشرت نتائج البحث ذات الصلة في ورقة بحثية بعنوان "الاهتمام المُقيّد لنماذج اللغة الكبيرة: اللاخطية، والندرة، والخالية من مُشتتات الانتباه"، حصلت على جائزة أفضل ورقة بحثية في NeurIPS 2025.

أجرى فريق البحث دراسة منهجية لسلسلة من متغيرات الانتباه المعززة بالبوابات من خلال تجارب واسعة النطاق (غطت 30 متغيرًا من نماذج MoE بكثافة 15B و1.7B، مدربة على رموز 3.5T). وخلصت الدراسة إلى أن تطبيق بوابة سيجمويدية محددة الرأس بعد معالجة الانتباه النقطي المتدرج (SDPA) يمكن أن يُحسّن أداء النموذج باستمرار. يُبرز هذا الإنجاز تأثير آليات البوابة على أداء النموذج وسلوكه في طبقات الانتباه القياسية، كاشفًا عن قدرتها على إدخال اللاخطية، والتشتت، والتخلص من فخاخ الانتباه من خلال تقييم متغيرات البوابة. تُعمّق هذه النتائج فهم القطاع لآليات الانتباه المعزز.