사전 지식을 통합하는 것은 맥락 빈칸 채우기 방식의 기계 독해에서 기존의 사전 훈련 모델의 성능을 향상시키며, 최근 연구에서 새로운 추세로 부상하고 있다. 특히 대부분의 기존 모델들은 외부 지식 그래프(KG)와 BERT와 같은 트랜스포머 기반 모델을 통합된 데이터 구조로 통합하고 있다. 그러나 지식 그래프 내에서 의미가 모호한 엔티티 중 가장 관련성이 높은 항목을 선택하고, 최적의 서브그래프를 추출하는 것은 여전히 도전 과제로 남아 있다. 본 논문에서는 외부 지식 그래프를 사용하지 않고 문서 내 엔티티 간의 직관적인 관계를 기반으로 이질적 그래프(heterogeneous graph)를 구축하는 LUKE-Graph 모델을 제안한다. 이후 사전 훈련된 LUKE 모델이 인코딩한 문맥 표현과 그래프의 추론 정보를 관계 기반 그래프 주의(Relational Graph Attention, RGAT) 네트워크를 통해 융합한다. 이를 통해 LUKE 모델의 엔티티 인식 표현(entity-aware representation)과 그래프 모델의 관계 인식 표현(relation-aware representation)을 동시에 활용할 수 있다. 또한, 그래프 컨볼루션 연산에 대해 질문 정보를 조절할 수 있도록 게이팅 메커니즘(gating mechanism)을 RGAT에 도입한 Gated-RGAT을 제안한다. 이는 인간의 추론 과정과 매우 유사하며, 질문 정보를 바탕으로 가장 적절한 엔티티 후보를 선택하는 방식이다. 실험 결과, LUKE-Graph는 공통 지식 추론(common sense reasoning)이 필요한 ReCoRD 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성함을 입증하였다.