EmailSum : Résumé abstrait d'un fil de discussion par e-mail

Ces dernières années ont suscité un intérêt pour la tâche ardue de résumer des fils de conversation (réunions, discussions en ligne, etc.). De tels résumés facilitent l'analyse du texte long afin de se mettre rapidement à jour sur les décisions prises et d'améliorer ainsi notre efficacité au travail ou dans la communication. Pour stimuler la recherche en matière de résumé de fil de discussion, nous avons développé un jeu de données de résumé abstrait de fil de discussion par e-mail (EmailSum), qui contient des résumés courts (<30 mots) et longs (<100 mots) annotés par des humains de 2549 fils de discussion par e-mail (chacun contenant 3 à 10 e-mails) sur une large variété de sujets. Nous avons mené une étude empirique complète pour explorer différentes techniques de résumé (y compris les méthodes extractives et abstraites, les modèles mono-document et hiérarchiques, ainsi que l'apprentissage par transfert et semi-supervisé) et avons effectué des évaluations humaines sur les tâches de génération de résumés courts et longs. Nos résultats mettent en lumière les principaux défis auxquels sont confrontés les modèles actuels de résumé abstrait dans cette tâche, tels que la compréhension des intentions de l'expéditeur et l'identification des rôles de l'expéditeur et du destinataire. De plus, nous constatons que les métriques d'évaluation automatique couramment utilisées (ROUGE, BERTScore) sont faiblement corrélées avec les jugements humains dans cette tâche de résumé de fil de discussion par e-mail. Par conséquent, nous soulignons l'importance de l'évaluation humaine et le développement par la communauté de meilleures métriques. Notre code et nos données de résumé sont disponibles à l'adresse suivante : https://github.com/ZhangShiyue/EmailSum