독서 전략은 특히 충분한 사전 지식을 갖추지 못한 독자들의 이해도를 향상시키는 것으로 입증되었습니다. 인간 독자가 지식을 축적하는 과정이 시간이 많이 걸리는 것처럼, 사전 학습을 통해 깊은 언어 모델에 풍부한 일반 영역의 지식을 부여하는 것은 자원이 많이 소모됩니다. 인지과학에서 식별된 독서 전략에 착안하여, 제한된 계산 자원(사전 학습된 모델과 고정된 수의 학습 샘플)만 주어진 상황에서 비추출적 기계 독해 이해(MRC)를 개선하기 위한 세 가지 일반적인 전략을 제안합니다: (i) 원문과 역순으로 입력 시퀀스를 모두 고려하는 BACK AND FORTH READING(앞뒤로 읽기), (ii) 질문 및 후보 답변과 관련된 토큰의 텍스트 임베딩에 학습 가능한 임베딩을 추가하는 HIGHLIGHTING(강조 표시), 그리고 (iii) 감독되지 않은 방식으로 텍스트에서 직접 연습 문제와 후보 답변을 생성하는 SELF-ASSESSMENT(자기 평가).Radford 등(2018)이 제안한 사전 학습된 언어 모델을 가장 큰 일반 영역 다중 선택 MRC 데이터셋인 RACE에서 우리의 제안된 전략으로 미세 조정(fine-tuning)함으로써, 이전에 동일한 사전 학습된 모델로 RACE에서 미세 조정했을 때 얻은 최고 성능보다 5.8% 절대적으로 정확도가 증가했습니다. 이를 바탕으로 대상 MRC 작업에서 더 나아가 미세 조정을 수행하였으며, 다양한 영역(즉, ARC, OpenBookQA, MCTest, SemEval-2018 Task 11, ROCStories, MultiRC)에서 선정된 여섯 개의 대표적인 비추출적 MRC 데이터셋에 대한 이전 최신 접근법보다 평균 정확도가 6.2% 절대적으로 개선되었습니다. 이러한 결과들은 우리가 제안한 전략들의 효과성과 이러한 전략들을 통합한 미세 조정 모델들의 유연성 및 일반적인 적용 가능성을 보여줍니다. 핵심 코드는 https://github.com/nlpdata/strategy/ 에서 확인할 수 있습니다.