11일 전

시퀀스투시퀀스 지식 그래프 보완 및 질문 응답

Apoorv Saxena, Adrian Kochsiek, Rainer Gemulla
시퀀스투시퀀스 지식 그래프 보완 및 질문 응답
초록

지식 그래프 임베딩(KGE) 모델은 지식 그래프(KG)의 각 엔티티와 관계를 저차원의 임베딩 벡터로 표현한다. 이러한 방법들은 최근 지식 그래프 링크 예측 및 불완전한 지식 그래프(KG)에 대한 질의응답(KGQA)에 적용되고 있다. 기존의 KGE 모델들은 그래프 내 각 엔티티에 대해 별도의 임베딩을 생성하기 때문에, 수백만 개의 엔티티를 포함하는 실제 지식 그래프에서는 모델 크기가 매우 커지는 문제가 있다. 또한 하류 작업을 수행할 때 이러한 원자적 엔티티 표현을 다단계 파이프라인에 통합해야 하는 경우가 많아 활용도가 제한된다. 본 연구에서는 기존의 인코더-디코더 기반 트랜스포머 모델을 활용하여, 규모 확장성과 유연성이 뛰어난 KGE 모델로 활용할 수 있음을 보여준다. 이 모델은 지식 그래프 링크 예측 및 불완전한 지식 그래프에 대한 질의응답에서 최신 기술 수준의 성능을 달성한다. 이를 위해 기존 KGE 방법들이 사용하는 삼중항 점수 산정 방식을 대체하여, 자동 회귀적 디코딩 방식을 사용하여 링크 예측을 시퀀스-투-시퀀스 문제로 재정의한다. 이 간단하면서도 강력한 접근법은 기존 KGE 모델 대비 모델 크기를 최대 98%까지 축소하면서도 추론 시간은 효율적으로 유지한다. 불완전한 지식 그래프에 대한 KGQA 작업에서 이 모델을 미세조정(fine-tuning)한 결과, 복잡한 하이퍼파라미터 튜닝 없이도 여러 대규모 데이터셋에서 기존의 베이스라인 모델들을 능가하는 성능을 보였다.

시퀀스투시퀀스 지식 그래프 보완 및 질문 응답 | 최신 연구 논문 | HyperAI초신경