SPOT: 지식 강화 언어 표현을 활용한 정보 추출

지식 강화된 사전 학습 모델은 BERT와 같은 언어 모델보다 지식 기반 구축 작업(예: 관계 추출)에서 더 효과적임이 입증되었습니다. 이러한 지식 강화된 언어 모델은 사전 학습 과정에서 지식을 통합하여 개체 또는 관계의 표현을 생성합니다. 그러나 기존 방법들은 일반적으로 각 개체를 별도의 임베딩으로 표현합니다. 결과적으로 이러한 방법들은 사전 어휘 범위 외의 개체(out-of-vocabulary entities)를 표현하는 데 어려움을 겪으며, 기저 토큰 모델(예: 트랜스포머) 위에 많은 매개변수를 사용해야 하므로 실제로는 메모리 제약으로 인해 처리할 수 있는 개체의 수가 제한됩니다. 또한, 기존 모델들은 여전히 개체와 관계를 동시에 표현하는 데 어려움을 겪고 있습니다. 이러한 문제들을 해결하기 위해, 우리는 텍스트 내의 토큰 스패ン과 스패너 쌍(span pairs)로부터 각각 개체와 관계의 표현을 학습하는 새로운 사전 학습 모델을 제안합니다. 스패너 모듈(span modules)을 통해 효율적으로 스패너를 인코딩함으로써, 우리의 모델은 개체와 그들의 관계를 모두 표현할 수 있지만 기존 모델들보다 적은 매개변수를 필요로 합니다. 우리는 위키피디아에서 추출한 지식 그래프로 우리의 모델을 사전 학습하고, 감독된 및 비감독된 정보 추출 작업의 다양한 범위에서 이를 테스트하였습니다. 결과는 우리의 모델이 기준선(baselines)보다 개체와 관계 모두에 대해 더 나은 표현을 학습한다는 것을 보여주며, 감독된 환경에서는 우리의 모델을 미세 조정(fine-tuning)하면 RoBERTa보다 일관되게 우수한 성능을 보이고 정보 추출 작업에서 경쟁력 있는 결과를 달성함을 확인할 수 있었습니다.