텍스트에서 교차 컨텍스트 엔티티 표현 학습

언어 모델링 작업은 로컬 컨텍스트를 기반으로 단어나 단어 조각을 예측하는 것으로, 단어 임베딩과 문맥 종속적인 구 표현을 학습하는 데 매우 효과적이었습니다. 세계 지식을 기계 읽기 가능한 지식 베이스나 인간 읽기 가능한 백과사전으로 코딩하려는 노력이 주로 개체 중심적이라는 관찰에 동기를 부여받아, 우리는 빈칸 채우기 작업을 사용하여 텍스트 컨텍스트에서 언급된 개체들의 문맥 독립적인 표현을 학습하는 방법을 연구하였습니다. 우리는 신경망 모델의 대규모 학습이 고품질의 개체 표현을 학습할 수 있음을 보였으며, 네 가지 영역에서 성공적인 결과를 제시하였습니다: (1) 기존 개체 수준 타입 분류 벤치마크, TypeNet(Murty 등, 2018)에서 이전 연구보다 64%의 오류 감소를 달성한 것; (2) 새로운 소수 샘플 카테고리 재구성 작업; (3) 기존 개체 연결 벤치마크에서 CoNLL-Aida에서 특징 연결에 대한 특화된 기능 없이 최신 성능에 맞먹는 결과를 얻었으며, TAC-KBP 2010에서는 별도의 별칭 표, 외부 지식 베이스 또는 도메인 내 학습 데이터 없이 89.8%의 점수를 얻은 것; (4) 개체를 고유하게 식별하는 자잘한 질문(트리비아 질문)에 답하는 것. 우리의 전역 개체 표현은 스코틀랜드 축구 선수와 같은 세부 타입 카테고리를 인코딩하며, 다음과 같은 트리비아 질문에 답할 수 있습니다: 베를린 스판다우 교도소의 마지막 수감자는 누구였습니까?