إحدى التحديات التي تواجه نماذج التسلسل إلى التسلسل (seq2seq) الحالية هي معالجة التسلسلات الطويلة، مثل تلك المستخدمة في مهام تلخيص النصوص وترجمة المستندات على مستوى المستند. تتطلب هذه المهام من النموذج التفكير على مستوى الرموز (tokens) وكذلك على مستوى الجمل والفقرات. قمنا بتصميم ودراسة معمارية جديدة تعتمد على المُحولّات ذات الانتباه الهرمي (HAT)، والتي تتفوق على المُحولّات القياسية في عدة مهام تسلسل إلى تسلسل. علاوةً على ذلك، حققت نماذجنا أداءً متقدماً على مستوى الحالة (state-of-the-art) في مقاييس ROUGE على أربع مهام لتلخيص النصوص، بما في ذلك PubMed، arXiv، CNN/DM، SAMSum، وAMI. كما تفوقت نماذجنا على النموذج الأساسي لترجمة المستندات في مهمة ترجمة WMT20 من الإنجليزية إلى الألمانية. قمنا بتحليل ما تتعلمه الطبقات الهرمية من خلال عرض انتباه المُشفر-المُفكك الهرمي. وأخيرًا، درسنا تعلم النماذج الهرمية في التدريب المسبق لمشفرات فقط، وحللنا أداؤها في مهام التصنيف.