KB-텍스트 간격 다리 놓기: 구조화된 지식 인지 사전 학습을 활용한 KBQA

지식 기반 질문 응답(Knowledge Base Question Answering, KBQA)은 지식 기반(KBs)에 포함된 실체와 관계 등의 사실 정보를 자연어 질문에 대해 답변하는 것을 목표로 합니다. 그러나 전통적인 사전 학습 언어 모델(Pre-trained Language Models, PLMs)은 대규모 자연어 코퍼스에서 직접 사전 학습되기 때문에, 구조화된 지식 기반 내의 복잡한 하위 그래프를 이해하고 표현하는 데 어려움이 있습니다. 이러한 텍스트와 구조화된 지식 기간의 간극을 메우기 위해, 우리는 구조적 지식 인지 사전 학습 방법(Structured Knowledge-aware Pre-training, SKP)을 제안합니다. 사전 학습 단계에서는 두 가지 새로운 구조적 지식 인지 작업을 도입하여, 모델이 암시적인 관계를 효과적으로 학습하고 복잡한 하위 그래프의 더 나은 표현을 습득하도록 안내합니다. 다운스트림 KBQA 작업에서는 효율적인 선형화 전략과 구간 주의 메커니즘(interval attention mechanism)을 추가로 설계하여, 각각 추론 과정에서 복잡한 하위 그래프를 더 잘 인코딩하고 관련 없는 하위 그래프의 간섭을 차단하는 데 도움을 줍니다. WebQSP에서 수행된 상세 실험 및 분석은 SKP의 효과성을 검증하며, 특히 하위 그래프 검색에서 (+4.08% H@10) 유의미한 개선을 보여줍니다.