要約
近年、会議やオンライン討論などの対話スレッドの要約という課題への関心が高まっています。これらの要約は長いテキストの分析を助け、迅速に決定事項を把握することで、私たちの仕事やコミュニケーションの効率を向上させます。対話スレッドの要約研究を促進するため、我々は抽象的メールスレッド要約（EmailSum）データセットを開発しました。このデータセットには、幅広いトピックに関する2549件のメールスレッド（各スレッドには3〜10通のメールが含まれています）の人間による短い（30単語未満）および長い（100単語未満）要約が含まれています。我々は包括的な実証研究を行い、異なる要約手法（抽出的手法と抽象的手法、単一文書モデルと階層モデル、転移学習と半教師あり学習など）を探求し、短い要約生成タスクと長い要約生成タスクに対して人間評価を行いました。結果は、現在の抽象的要約モデルがこの課題において理解すべき送信者の意図や送受信者の役割を特定するといった主要な課題を持っていることを示しています。さらに、広く使用されている自動評価指標（ROUGE, BERTScore）がこのメールスレッド要約タスクにおける人間の判断と弱い相関を持つことがわかりました。したがって、我々はコミュニティによる人間評価の重要性とより良い指標の開発を強調します。当該コードおよび要約データは以下のURLで公開されています: https://github.com/ZhangShiyue/EmailSum