2달 전
반복 신경망 기반 문장 인코더와 게이트 주의 메커니즘을 활용한 자연어 추론
Qian Chen; Xiaodan Zhu; Zhen-Hua Ling; Si Wei; Hui Jiang; Diana Inkpen

초록
2017년 RepEval 공유 작업은 문장 표현을 위한 자연어 이해 모델의 평가를 목표로 하며, 이는 신경망을 사용하여 문장을 고정 길이 벡터로 표현하고, 그 표현의 품질을 자연어 추론 과제를 통해 테스트하는 것을 포함합니다. 본 논문에서는 공유 작업에서 상위권에 랭크된 우리 시스템(alpha)을 설명합니다. 이 시스템은 도메인 내 테스트 세트(74.9% 정확도)와 도메인 간 테스트 세트(동일한 74.9% 정확도)에서 모두 우수한 성능을 보였으며, 이는 모델이 도메인 간 데이터에 잘 일반화됨을 입증합니다. 우리의 모델은 문장 내 게이티드 어텐션 구성(intra-sentence gated-attention composition)을 갖추고 있어 더 나은 성능을 달성하는 데 도움이 됩니다. 공유 작업에 모델을 제출한 것 외에도, 스탠퍼드 자연어 추론(SNLI) 데이터셋에서도 테스트를 수행했습니다. 우리는 85.5%의 정확도를 얻었으며, 이는 문장 간 어텐션이 허용되지 않는 조건에서 SNLI에서 보고된 최고 결과입니다. RepEval 2017에서도 동일한 조건이 적용되었습니다.