컨텍스트 또는 이름에서 학습할 것인가? 신경망 관계 추출에 대한 실증 연구

신경망 모델은 관계 추출(RE) 벤치마크에서 놀라운 성과를 거두었으나, 기존의 RE 모델이 결정을 내릴 때 어떤 종류의 정보가 영향을 미치는지에 대한 명확한 이해는 여전히 부족하다. 또한 이러한 모델의 성능을 더욱 향상시키는 방법에 대해서도 명확한 방향성이 부족하다. 이를 해결하기 위해 본 연구에서는 텍스트 내 두 가지 주요 정보 소스인 텍스트적 맥락과 엔티티 언급(이름)이 모델의 예측에 미치는 영향을 실험적으로 분석하였다. 분석 결과, (i) 맥락이 예측을 지지하는 주요 정보원임은 분명하지만, RE 모델은 엔티티 언급에서 제공하는 정보, 특히 엔티티 타입 정보에 크게 의존하고 있으며, (ii) 기존의 데이터셋이 엔티티 언급을 통해 얕은 힌트(heuristics)를 유출하고 있어 RE 벤치마크에서 높은 성능을 달성하는 데 기여하고 있음을 확인하였다. 이러한 분석을 바탕으로, 엔티티의 직접적 기억이나 언급 내 표면적인 단서에 의존하지 않고, 텍스트적 맥락과 엔티티 타입 정보에 대해 깊이 있는 이해를 가능하게 하는 엔티티 마스킹 대조 사전 훈련 프레임워크를 제안한다. 제안된 프레임워크의 타당성을 검증하기 위해 광범위한 실험을 수행하였으며, 다양한 RE 시나리오에서 신경망 모델의 효과성과 강건성을 향상시킬 수 있음을 입증하였다. 모든 코드 및 데이터셋은 https://github.com/thunlp/RE-Context-or-Names 에 공개되어 있다.