EmailSum: Abstractive Email Thread Summarization 이메일 요약: 추상적 이메일 스레드 요약

최근 몇 년간 회의, 온라인 토론 등 대화 스레드를 요약하는 어려운 작업에 대한 관심이 증가하였습니다. 이러한 요약은 긴 텍스트 분석을 통해 신속하게 결정 사항을 파악하여 우리의 업무 또는 의사소통 효율성을 높이는 데 도움이 됩니다. 스레드 요약 연구를 촉진하기 위해, 우리는 다양한 주제에 걸쳐 3개에서 10개의 이메일로 구성된 2549개의 이메일 스레드를 포함하는 추상적 이메일 스레드 요약 (EmailSum) 데이터셋을 개발하였습니다. 이 데이터셋에는 인간이 주석 달아 생성한 짧은 (<30 단어) 및 긴 (<100 단어) 요약이 포함되어 있습니다. 우리는 추출적 및 추상적 방법, 단일 문서와 계층적 모델, 전이 학습과 준감독 학습 등을 포함한 다양한 요약 기술에 대해 포괄적인 실증 연구를 수행하였으며, 짧은 요약과 긴 요약 생성 작업 모두에 대해 인간 평가를 실시하였습니다. 연구 결과는 현재의 추상적 요약 모델들이 이 작업에서 직면한 주요 과제, 예를 들어 발신자의 의도 이해와 발신자 및 수신자의 역할 식별 등의 문제점을 밝혔습니다. 또한, 널리 사용되는 자동 평가 지표 (ROUGE, BERTScore)가 이 이메일 스레드 요약 작업에서 인간 판단과 약하게 상관관계를 가짐을 발견하였습니다. 따라서, 우리는 인간 평가의 중요성과 더 나은 지표 개발의 필요성을 강조합니다. 우리의 코드와 요약 데이터는 다음 링크에서 이용 가능합니다: https://github.com/ZhangShiyue/EmailSum