2달 전

참조 인식 언어 모델

Zichao Yang; Phil Blunsom; Chris Dyer; Wang Ling
참조 인식 언어 모델
초록

우리는 참조를 명시적인 확률적 잠재 변수로 처리하는 일반적인 언어 모델 클래스를 제안합니다. 이 구조는 모델이 대화 생성 및 레시피 생성과 같은 작업에 필요한 외부 데이터베이스와 공유참조를 인식하는 언어 모델에 필요한 내부 상태에 접근하여 실체及其属性的提及(mentions of entities and their attributes)을 생성할 수 있도록 합니다. 이는 참조 대상이 희귀 단어일지라도 데이터베이스나 담화 맥락에서 예측 가능한 위치에서 접근할 수 있는 정보의 통합을 용이하게 합니다. 세 가지 작업에 대한 실험은 결정론적 주의력(deterministic attention)을 기반으로 한 우리의 모델 변형들의 성능을 보여줍니다.注:在翻译中,“及其属性的提及(mentions of entities and their attributes)”这部分是为了确保中文读者理解而加入的解释,韩文原文中可以直接省略解释部分,如下所示:우리는 참조를 명시적인 확률적 잠재 변수로 처리하는 일반적인 언어 모델 클래스를 제안합니다. 이 구조는 모델이 대화 생성 및 레시피 생성과 같은 작업에 필요한 외부 데이터베이스와 공유참조를 인식하는 언어 모델에 필요한 내부 상태에 접근하여 실체와 그 속성의 언급을 생성할 수 있도록 합니다. 이는 참조 대상이 희귀 단어일지라도 데이터베이스나 담화 맥락에서 예측 가능한 위치에서 접근할 수 있는 정보의 통합을 용이하게 합니다. 세 가지 작업에 대한 실험은 결정론적 주의력(deterministic attention)을 기반으로 한 우리의 모델 변형들의 성능을 보여줍니다.