أظهرت دراسات حديثة أن رؤوس الانتباه في نموذج Transformer ليست متساوية. نربط هذه الظاهرة بانعدام التوازن في عملية التدريب الخاصة بانتباه الرؤوس المتعددة، والتبعية التي يُظهرها النموذج لرؤوس معينة. ولحل هذه المشكلة، نقترح طريقة بسيطة للإخفاء تُسمى "HeadMask"، بأسلوبين محددين. أظهرت التجارب تحسينات في الترجمة على عدة أزواج لغوية. كما تدعم التحليلات التجريبية اللاحقة افتراضنا وتحدد فعالية هذه الطريقة.