지식 그래프 추론을 위한 기반 모델 방향

언어 및 비전 분야의 기반 모델은 텍스트 및 시각 입력에 대해 추론을 수행할 수 있는 능력을 갖추고 있으며, 이는 언어 내 토큰의 사전과 같은 이전 가능(fine-tunable)한 표현을 통해 가능하다. 반면 지식 그래프(KG)는 일반적으로 중복되지 않는 개별 엔티티 및 관계 사전을 갖는다. 지식 그래프 기반의 기반 모델을 설계하는 핵심 과제는 임의의 엔티티 및 관계 사전을 가진 그래프에 대해 추론이 가능한 이전 가능 표현을 학습하는 것이다. 본 연구에서는 이러한 기반 모델을 향한 한 걸음으로, 보편적이고 이전 가능한 그래프 표현을 학습하는 ULTRA를 제안한다. ULTRA는 관계 표현을 그 상호작용에 조건부로 정의하는 함수 형태로 구축한다. 이러한 조건부 전략은 사전 훈련된 ULTRA 모델이 임의의 관계 사전을 가진 미지의 지식 그래프에 대해 유추적 일반화(inductive generalization)를 수행할 수 있게 하며, 임의의 그래프에 대해 미세조정(fine-tuning)이 가능하게 한다. 57개의 다양한 지식 그래프에서 링크 예측 실험을 수행한 결과, 단일 사전 훈련된 ULTRA 모델이 다양한 크기의 미지 그래프에 대해 제로샷(Zero-shot) 유추 성능이 종종 특정 그래프에 대해 훈련된 강력한 기준 모델과 비슷하거나 더 우수한 것으로 나타났으며, 미세조정을 통해 성능이 추가로 향상됨을 확인하였다.