2달 전

반복 신경망 기반 문장 인코더와 게이트 주의 메커니즘을 활용한 자연어 추론

Qian Chen; Xiaodan Zhu; Zhen-Hua Ling; Si Wei; Hui Jiang; Diana Inkpen
반복 신경망 기반 문장 인코더와 게이트 주의 메커니즘을 활용한 자연어 추론
초록

2017년 RepEval 공유 작업은 문장 표현을 위한 자연어 이해 모델의 평가를 목표로 하며, 이는 신경망을 사용하여 문장을 고정 길이 벡터로 표현하고, 그 표현의 품질을 자연어 추론 과제를 통해 테스트하는 것을 포함합니다. 본 논문에서는 공유 작업에서 상위권에 랭크된 우리 시스템(alpha)을 설명합니다. 이 시스템은 도메인 내 테스트 세트(74.9% 정확도)와 도메인 간 테스트 세트(동일한 74.9% 정확도)에서 모두 우수한 성능을 보였으며, 이는 모델이 도메인 간 데이터에 잘 일반화됨을 입증합니다. 우리의 모델은 문장 내 게이티드 어텐션 구성(intra-sentence gated-attention composition)을 갖추고 있어 더 나은 성능을 달성하는 데 도움이 됩니다. 공유 작업에 모델을 제출한 것 외에도, 스탠퍼드 자연어 추론(SNLI) 데이터셋에서도 테스트를 수행했습니다. 우리는 85.5%의 정확도를 얻었으며, 이는 문장 간 어텐션이 허용되지 않는 조건에서 SNLI에서 보고된 최고 결과입니다. RepEval 2017에서도 동일한 조건이 적용되었습니다.