بفضل شبكات الانتباه القابلة للتوازي، يصبح التدريب على الشبكة العصبية Transformer سريعًا جدًا. ومع ذلك، بسبب الهندسة الذاتية الانحدار والانتباه الذاتي في المفكك (الديكودر)، تصبح عملية فك التشفير بطيئة. لحل هذه المشكلة، نقترح استخدام شبكة انتباه متوسطة كبدائل للشبكة ذات الانتباه الذاتي في المفكك (الديكودر) للشبكة العصبية Transformer. تتكون شبكة الانتباه المتوسطة من طبقتين: طبقة متوسطة تُمثّل الاعتمادية على المواقع السابقة وطبقة بوابية (gating layer) يتم تراكيبها فوق الطبقة المتوسطة لتعزيز قدرة الشبكة المقترحة على التعبير. نطبق هذه الشبكة على جزء المفكك (الديكودر) من الشبكة العصبية Transformer لاستبدال النموذج الأصلي للانتباه الذاتي من الجهة المستهدفة. باستخدام خدع التعتيم (masking tricks) والبرمجة الديناميكية، يمكن لنموذجنا أن يجعل الشبكة العصبية Transformer تفك شفرة الجمل بأكثر من أربع مرات أسرع من الإصدار الأصلي لها، مع وجود خسارة طفيفة تقريبًا في وقت التدريب وأداء الترجمة. نقوم بإجراء سلسلة من التجارب على مهام الترجمة WMT17، حيث نحصل على تسريعات قوية وثابتة في عملية فك التشفير عند اختبار ست زوجات مختلفة من اللغات.