2달 전

생성형 다단계 질문 응답 작업을 위한 상식

Lisa Bauer; Yicheng Wang; Mohit Bansal
생성형 다단계 질문 응답 작업을 위한 상식
초록

독해 질문 답변(QA) 작업은 최근 인기를 끌고 있지만, 대부분의 연구는 사실 확인 추출형 QA에 집중되어 왔습니다. 본 연구에서는 이보다 더 어려운 다단계 생성형 작업(NarrativeQA)에 초점을 맞추며, 이 작업은 모델이 문맥 내에서 분리된 정보 조각들을 추론, 수집 및 종합하여 답변을 생성하도록 요구합니다. 이러한 유형의 다단계 추론은 종종 인간이 외부 배경 상식 지식을 통해 해결하는 암시적인 관계 이해를 필요로 합니다. 먼저, 다단계 추론을 수행하기 위한 다중 주의 메커니즘과 답변을 종합하기 위한 포인터-생성자 디코더를 사용하는 강력한 생성 기준 모델을 제시합니다. 이 모델은 이전의 생성 모델들보다 크게 우수하며, 현재 최신의 스패너 예측 모델들과 경쟁력을 갖춥니다.다음으로, ConceptNet에서 점별 상호 정보량(pointwise mutual information)과 용어 빈도(term frequency) 기반 점수 함수를 통해 근거 있는 다단계 관계 상식 정보를 선택하는 새로운 시스템을 소개합니다. 마지막으로, 선택적으로 게이트된 주의 메커니즘을 사용하여 문맥 간의 추론 간극을 메우기 위해 이 추출된 상식 정보를 효과적으로 활용합니다. 이 방법은 모델의 성능을 크게 향상시키며(인간 평가에서도 검증됨), 해당 작업에 대한 새로운 최신 기준을 설정하였습니다. 또한, 우리의 배경 지식 강화 방법이 다른 다단계 추론 데이터셋인 QAngaroo-WikiHop에서도 일부 개선 효과를 보임으로써 일반화 가능성에 대한 유망한 초기 결과를 제시하였습니다.

생성형 다단계 질문 응답 작업을 위한 상식 | 최신 연구 논문 | HyperAI초신경