Les modèles Transformer ont permis d’atteindre un nouveau niveau dans de nombreuses tâches de traitement du langage naturel (NLP). Dans cet article, nous présentons une nouvelle architecture Transformer, appelée Extended Transformer Construction (ETC), qui répond à deux défis clés des architectures Transformer classiques : l’extension de la longueur d’entrée et l’encodage d’entrées structurées. Pour permettre à l’attention de s’étendre à des entrées plus longues, nous introduisons un mécanisme original d’attention globale-locale entre des tokens globaux et les tokens d’entrée réguliers. Nous montrons également que la combinaison de cette attention globale-locale avec des encodages de position relative et d’un objectif de pré-entraînement basé sur le Coding Prédictif Contrastif (CPC) permet à ETC d’encoder efficacement des entrées structurées. Nous obtenons des résultats de pointe sur quatre jeux de données linguistiques naturels nécessitant des entrées longues et/ou structurées.