초록
사전 훈련된 언어 모델(PTLM)은 여러 자연어 처리(NLP) 작업에서 두드러진 성과를 거두었지만, 사건의 시간적 관계를 추론해야 하는 작업에서는 여전히 어려움을 겪고 있다. 이러한 능력은 사건 중심 응용 분야에서 필수적이다. 본 연구에서는 사건의 시간적 관계에 대한 집중된 지식을 PTLM에 부여하는 지속적 사전 훈련 방식을 제안한다. 우리는 마스킹된 사건 및 시간적 지표를 복원하고, 사건 또는 시간적 지표가 교체된 변조된 문장과 원본 문장을 구분하는 자기지도 학습 목표를 설계하였다. 이러한 목표들을 함께 사용하여 PTLM을 추가 사전 훈련함으로써, 모델이 사건 및 시간 정보에 더 집중하도록 강화하였으며, 이는 사건의 시간적 추론 능력을 향상시켰다. 이러한 효과적인 지속적 사전 훈련 프레임워크인 ECONET은 다섯 가지 관계 추출 및 질문 응답 작업에서 PTLM의 미세 조정 성능을 향상시키며, 대부분의 하류 작업에서 새로운 또는 최상의 성능을 달성하였다.