أصبحت النماذج التحويلية (Transformers) واحدة من أكثر الابتكارات المعمارية أهمية في التعلم العميق، وسهمت في تحقيق العديد من التطورات المهمة خلال السنوات الأخيرة. في هذا العمل، نقترح معمارية شبكة بسيطة تُسمى gMLP، تعتمد على الشبكات العصبية المتعددة الطبقات (MLPs) ذات التحكم (gating)، ونُظهر أن بإمكانها تحقيق أداءً يعادل أداء النماذج التحويلية في تطبيقات مهمة في مجالات اللغة والرؤية الحاسوبية. تُظهر مقارناتنا أن الانتباه الذاتي (self-attention) ليس عنصرًا حاسمًا في النماذج التحويلية للرؤية، حيث يمكن لنموذج gMLP تحقيق نفس دقة النماذج التحويلية. بالنسبة لنموذج BERT، يحقق نموذجنا أداءً مماثلًا للنماذج التحويلية في مقياس "الغموض" أثناء التدريب المسبق، ويفوقها في بعض المهام التطبيقية في معالجة اللغة الطبيعية. وفي المهام المخصصة للتعديل الدقيق (finetuning) التي يُظهر فيها gMLP أداءً أضعف، يمكن إغلاق الفجوة مع النماذج التحويلية من خلال زيادة حجم نموذج gMLP بشكل كبير. بشكل عام، تُظهر تجاربنا أن gMLP قادرة على التوسع بفعالية مماثلة للنماذج التحويلية مع زيادة البيانات وزيادة قدرة الحوسبة.