Diese Arbeit untersucht das anspruchsvolle Problem der Lernung von Repräsentationen von Entitäten und Relationen in einem komplexen multi-relationalem Wissensgraphen. Wir stellen HittER, ein hierarchisches Transformer-Modell, vor, das gleichzeitig die Komposition von Entität-Relationen und die relationale Kontextualisierung auf Basis der Nachbarschaft einer Quellentität lernt. Unser vorgeschlagenes Modell besteht aus zwei unterschiedlichen Transformer-Blöcken: Der untere Block extrahiert Merkmale jedes Entität-Relation-Paares in der lokalen Nachbarschaft der Quellentität, während der obere Block die relationale Information aus den Ausgaben des unteren Blocks aggregiert. Zusätzlich entwickeln wir eine maskierte Entitätsvorhersage-Aufgabe, um das Informationsgewicht zwischen dem relationalen Kontext und der Quellentität selbst auszugleichen. Experimentelle Ergebnisse zeigen, dass HittER neue SOTA-Ergebnisse auf mehreren Link-Prediction-Datensätzen erzielt. Zudem schlagen wir eine einfache Methode vor, HittER in BERT zu integrieren, und demonstrieren deren Wirksamkeit auf zwei Freebase-Factoid-Fragebeantwortungs-Datensätzen.