EmailSum: Abstraktive Zusammenfassung von E-Mail-Threads

In den letzten Jahren hat sich das Interesse an der anspruchsvollen Aufgabe des Zusammenfassens von Konversationsthreads (Sitzungen, Online-Diskussionen usw.) gesteigert. Solche Zusammenfassungen erleichtern die Analyse langer Texte und ermöglichen es, schnell mit den getroffenen Entscheidungen auf dem Laufenden zu bleiben, was unsere Arbeits- oder Kommunikationseffizienz verbessert. Um die Forschung im Bereich der Thread-Zusammenfassung zu fördern, haben wir einen abstraktiven Datensatz für E-Mail-Thread-Zusammenfassungen (EmailSum) entwickelt, der 2549 E-Mail-Threads (jeder enthält 3 bis 10 E-Mails) über eine Vielzahl von Themen umfasst. Dieser Datensatz enthält menschliche Annotationen für kurze (<30 Wörter) und lange (<100 Wörter) Zusammenfassungen. Wir führen eine umfassende empirische Studie durch, um verschiedene Zusammenfassungstechniken zu untersuchen (darunter extraktive und abstraktive Methoden, Einzel-Dokument- und hierarchische Modelle sowie Transfer- und semisupervises Lernen). Zudem führen wir menschliche Bewertungen sowohl für die Generierung kurzer als auch langer Zusammenfassungen durch. Unsere Ergebnisse zeigen die wesentlichen Herausforderungen aktueller abstraktiver Zusammenfassungsmodelle bei dieser Aufgabe auf, wie zum Beispiel das Verständnis der Absenderabsichten und die Identifizierung der Rollen von Absender und Empfänger. Darüber hinaus stellen wir fest, dass weit verbreitete automatische Evaluationsmetriken (ROUGE, BERTScore) bei dieser E-Mail-Thread-Zusammenfassungsaufgabe nur schwach mit menschlichen Urteilen korrelieren. Daher betonen wir die Bedeutung menschlicher Bewertungen und die Notwendigkeit der Entwicklung bessere Metriken durch die Gemeinschaft. Unser Code und die Zusammenfassungsdaten sind unter folgendem Link verfügbar: https://github.com/ZhangShiyue/EmailSum