Cet article aborde le problème difficile de l’apprentissage de représentations d’entités et de relations au sein d’un graphe de connaissances multi-relations complexe. Nous proposons HittER, un modèle hiérarchique basé sur les Transformers, permettant d’apprendre conjointement la composition entité-relation et la contextualisation relationnelle à partir du voisinage d’une entité source. Notre modèle repose sur deux blocs Transformer distincts : le bloc inférieur extrait les caractéristiques de chaque paire entité-relation dans le voisinage local de l’entité source, tandis que le bloc supérieur agrège les informations relationnelles issues des sorties du bloc inférieur. Nous avons également conçu une tâche de prédiction masquée d’entité afin d’équilibrer l’information provenant du contexte relationnel et de l’entité source elle-même. Les résultats expérimentaux montrent que HittER atteint de nouveaux états de l’art sur plusieurs jeux de données de prédiction de liens. En outre, nous proposons une approche simple pour intégrer HittER dans BERT, et démontrons son efficacité sur deux jeux de données de question réponse factuelle issus de Freebase.