초록
의미 해석은 여러 증거를 조합하고 계산하는 복잡한 자연어를 분석하는 데 뛰어납니다. 그러나 의미 해석을 위한 데이터셋에는 단일 웹 문서에서 답할 수 있는 많은 사실 질문(factoid questions)이 포함되어 있습니다. 본 논문에서는 의미 해석 기반 질문 응답 모델을 웹을 쿼리하고 웹 스니펫(web snippets)에서만 답변을 추출하는 질문 응답 베이스라인과 비교하여 평가하는 방법을 제안합니다. 이 접근 방식은 조합 언어에 초점을 맞춘 COMPLEXQUESTIONS 데이터셋에서 조사되었습니다. 결과적으로, 우리의 모델은 상당한 성능(최신 기술(state-of-the-art)과 비교해 F1 점수가 35 대 41)을 보였습니다. 분석 결과, 우리의 모델은 결합(conjunctions)을 포함한 복잡한 질문에서 좋은 성능을 보였지만, 관계 조합(relation composition)과 최상급(superlatives)을 포함한 질문에서는 어려움을 겪는 것으로 나타났습니다.