지식 강화된 문맥 기반 단어 표현

맥락 기반 단어 표현은 일반적으로 구조화되지 않은 레이블 없는 텍스트에서 학습되며, 실제 세계의 실체에 명시적인 기반을 갖추지 못하고 이러한 실체에 대한 사실을 기억하는 데 어려움을 겪는다. 본 연구에서는 다수의 지식 기반(KB)을 대규모 모델에 통합하여, 인간이 정제한 구조화된 지식을 모델의 표현에 보완하는 일반적인 방법을 제안한다. 각 지식 기반에 대해 먼저 통합된 실체 링킹 기법을 사용하여 관련된 실체 표현(embedding)을 검색한 후, 단어-실체 주의 메커니즘(word-to-entity attention)을 통해 맥락 기반 단어 표현을 업데이트한다. 기존의 접근 방식과 달리, 실체 링킹 모듈과 자기지도 학습 언어 모델링 목적함수는 소량의 실체 링킹 지도 데이터와 대량의 원시 텍스트를 결합한 다중 작업(multitask) 환경에서 종단 간(end-to-end)으로 공동 학습된다. WordNet과 위키백과의 일부를 BERT에 통합한 지식 강화 BERT(KnowBert)는 탐색 작업(probing task)에서 사실 회상 능력과 관계 추출, 실체 타입 지정, 단어 의미 해석 분류 등 다양한 하류 작업에서 성능이 향상되었으며, 런타임은 BERT와 유사하게 효율적이며 대규모 지식 기반에도 확장 가능하다.