약한 감독 하에 대한 질문 응답을 위한 이산적 하드 EM 방법

많은 질의응답(QA) 과제들은 답변의 계산 방식에 대해 약한 지도(weak supervision)만 제공한다. 예를 들어, TriviaQA의 답변은 지원 문서 내에서 여러 번 등장할 수 있는 실체(entity)이며, DROP의 답변은 참조 텍스트 내 숫자로부터 다양한 방정식을 도출함으로써 계산될 수 있다. 본 논문에서는 이러한 과제들을, 미리 계산된 특정 과제에 맞춘 가능한 '해결책'(예: 서로 다른 언급 또는 방정식)의 집합을 포함하는 이산 잠재변수 학습 문제로 변환할 수 있음을 보여준다. 이 집합에는 정답이 하나 포함되어 있다. 우리는 각 업데이트 단계에서 가장 가능성이 높은 해결책에 대해 기울기를 계산하는 하드 EM 학습 방식을 개발하였다. 이 방법은 간단함에도 불구하고, 절대적인 성능 향상이 2~10%에 이르며, 여섯 개의 QA 과제에서 기존 방법들을 크게 능가하고, 그중 다섯 개 과제에서 최신 기준(SOTA) 성능을 달성하였다. 하드 업데이트를 사용함으로써 마진 확률을 최대화하는 방식을 사용하는 것보다 모델이 유일한 정답을 찾도록 유도할 수 있음을 질적 분석을 통해 입증하였다.