2달 전

동적 다단계 다중태스크 학습을 이용한 문장 단순화

Han Guo; Ramakanth Pasunuru; Mohit Bansal
동적 다단계 다중태스크 학습을 이용한 문장 단순화
초록

문장 단순화는 분할, 삭제 및 재구성 등의 여러 작업을 기반으로 하여 가독성과 이해성을 개선하는 것을 목표로 합니다. 그러나 유효한 단순화된 문장은 입력 문장에 논리적으로 포함되어 있어야 합니다. 본 연구에서는 먼저 강력한 포인터-복사 메커니즘을 기반으로 하는 시퀀스-투-시퀀스 문장 단순화 모델을 제시하고, 이후 관련 보조 작업인 논리적 포함성(Entailment) 생성 및 재구성(Paraphrasing) 생성을 통해 다중 작업 학습을 수행하여 이 모델의 포함성과 재구성 능력을 향상시키고자 합니다. 또한, 각 보조 작업이 문장 단순화 모델의 서로 다른 (상위 대 하위) 레벨 레이어를 공유하도록 설계된 새로운 '다단계' 계층적 소프트 공유 접근법을 제안합니다. 이 접근법은 작업의 의미적 특징과 어휘-문법적 특징에 따라 달라집니다. 우리는 또한 다중 암 팔 밴디트(Multi-Armed Bandit) 기반의 새로운 훈련 방법론을 소개하는데, 이 방법론은 다중 작업 학습 중 작업 간 효과적인 전환 방법을 동적으로 학습합니다. 여러 인기 있는 데이터셋에서 수행한 실험 결과, 우리의 모델은 SARI와 FKGL 자동 평가 지표 및 인간 평가에서 경쟁력 있는 단순화 시스템들을 능가함을 입증하였습니다. 더불어, 대체 레이어 공유 방법, 소프트 공유 대 하드 공유, 동적 다중 암 팔 밴디트 샘플링 접근법, 그리고 우리 모델이 학습한 포함성과 재구성 능력에 대한 다양한 감소 분석(Ablation Analysis) 결과를 제시합니다.

동적 다단계 다중태스크 학습을 이용한 문장 단순화 | 최신 연구 논문 | HyperAI초신경