희소 데이터에 대한 기계 이해를 위한 병렬-계층적 모델

비정형 텍스트 이해는 자연어 처리의 주요 목표 중 하나입니다. 이해도 테스트는 짧은 텍스트 문단을 기반으로 질문을 제시하여 이러한 이해 능력을 평가합니다. 본 연구에서는 어려운 {\it MCTest} 벤치마크에서의 기계 이해도를 조사하였습니다. 이 데이터셋의 크기가 제한적이기 때문에, 이전 연구들은 주로 더 나은 특징(feature)을 설계하는 데 초점을 맞추었습니다. 우리는 신경망 접근 방식을 사용하여 이 데이터셋에 대처하였습니다. 단순한 신경망들이 병렬 계층 구조로 배열되어 있는 방식을 활용하였습니다. 병렬 계층 구조는 수동적으로 설계된 강성 특징 집합을 사용하는 것과 달리, 다양한 학습 가능한 관점에서 문장, 질문 및 답변을 비교할 수 있게 합니다. 이러한 관점은 단어 수준에서 문장 조각(sentence fragments)까지 문장 시퀀스(sequences of sentences)까지 다양하며, 신경망은 텍스트의 단어 임베딩(word-embedding) 표현만을 사용하여 작동합니다. 한정된 학습 데이터를 효과적으로 다루도록 설계된 방법론으로 훈련되었으며, 우리의 병렬-계층 모델은 {\it MCTest}에서 새로운 최고 성능(state of the art)을 달성하였습니다. 이는 이전의 특징 엔지니어링 접근 방식보다 약간 우수하고, 이전의 신경망 접근 방식보다는 상당한 마진(15% 이상 절대적)으로 우수한 성능을 보였습니다.