17일 전

Few-shot 관계 추론을 위한 연결 서브그래프 사전학습

Qian Huang, Hongyu Ren, Jure Leskovec
Few-shot 관계 추론을 위한 연결 서브그래프 사전학습
초록

소수 샘플 지식 그래프(KG) 완성 작업은 지식 그래프 위에서 유추적 추론을 수행하는 것을 목표로 한다. 구체적으로, 새로운 관계 $\bowtie$에 대한 몇 개의 지원 삼항조(예: (chop,$\bowtie$,kitchen), (read,$\bowtie$,library))만 주어졌을 때, 동일한 미관측 관계 $\bowtie$에 대한 쿼리 삼항조(예: (sleep,$\bowtie$,?))를 예측하는 것이 목적이다. 기존의 접근 방식은 메타학습 프레임워크를 활용하여, 각각 고유한 관계로 정의된 여러 훈련용 소수 샘플 작업들에 대해 모델을 함께 훈련시킴으로써, 타겟 소수 샘플 작업에 대한 학습/예측을 효과적으로 수행하도록 한다. 그러나 실제 지식 그래프에서는 많은 훈련 작업을 수동으로 구성하는 것은 매우 어려운 과정이다. 본 연구에서는 인간이 구성한 훈련 작업에 대한 사전 훈련 없이도 타겟 소수 샘플 작업에 대해 직접 예측이 가능한 Connection Subgraph Reasoner(CSR)를 제안한다. CSR의 핵심은 지원 삼항조와 쿼리 삼항조 사이에 공유되는 연결 서브그래프를 명시적으로 모델링하는 것이다. 이는 제거적 추론( eliminative induction) 원리에 착안한 접근이다. 특정 지식 그래프에 적합하게 적용하기 위해, 자동으로 샘플링된 연결 서브그래프를 재구성하는 것을 목표로 하는 자체 학습 사전 훈련 방식을 설계하였다. 사전 훈련된 모델은 이후 타겟 소수 샘플 작업에 대해 추가적인 훈련 없이 바로 적용할 수 있다. NELL, FB15K-237, ConceptNet 등 실제 지식 그래프에서 수행된 광범위한 실험을 통해 본 프레임워크의 효과성을 입증하였다. 특히, CSR의 학습이 없는 구현 방식만으로도 기존 방법들과 경쟁 가능한 성능을 보였으며, 사전 훈련을 적용한 경우, 엔티티가 (사전)훈련 중에 미리 등장하지 않은 더 도전적인 유추적 소수 샘플 작업에서 최대 52%의 성능 향상을 달성할 수 있음을 확인하였다.

Few-shot 관계 추론을 위한 연결 서브그래프 사전학습 | 최신 연구 논문 | HyperAI초신경