Die Einbeziehung vorheriger Kenntnisse kann bestehende Pre-Training-Modelle im Bereich der Cloze-artigen Maschinenlesung verbessern und ist in jüngsten Studien zu einem neuen Trend geworden. Insbesondere haben die meisten bestehenden Modelle externe Wissensgraphen (Knowledge Graphs, KG) und transformerbasierte Modelle wie BERT in eine einheitliche Datenstruktur integriert. Dennoch bleibt die Auswahl der am besten geeigneten mehrdeutigen Entitäten im KG sowie die Extraktion des optimalen Teilgraphen eine Herausforderung. In diesem Artikel stellen wir LUKE-Graph vor, ein Modell, das auf der Grundlage der intuitiven Beziehungen zwischen Entitäten in einem Dokument einen heterogenen Graphen aufbaut, ohne externe Wissensgraphen zu verwenden. Anschließend nutzen wir ein relationaler Graph-Attention-Netzwerk (Relational Graph Attention Network, RGAT), um die Schlussfolgerungsinformationen des Graphen mit der kontextuellen Repräsentation zu fusionieren, die vom vortrainierten LUKE-Modell codiert wurde. Auf diese Weise können wir die Stärken von LUKE nutzen, um entitätsbewusste Repräsentationen zu erzeugen, und gleichzeitig ein Graphmodell einsetzen, um relationenbewusste Repräsentationen zu erschließen. Darüber hinaus führen wir Gated-RGAT ein, indem wir RGAT mit einem Gating-Mechanismus erweitern, der die Frageinformationen für die Graph-Faltungskonvolution reguliert. Dies entspricht sehr gut dem menschlichen Schlussfolgerungsprozess, da Menschen stets die beste Entitätenkandidatin auf Basis der Frageinformationen auswählen. Experimentelle Ergebnisse zeigen, dass LUKE-Graph eine state-of-the-art-Leistung auf dem ReCoRD-Datensatz mit alltagsweltlicher Schlussfolgerung erreicht.