Feinabstimmung von BERT für extractives Zusammenfassen

BERT, ein vortrainiertes Transformer-Modell, hat auf mehreren NLP-Aufgaben bahnbrechende Leistungen erzielt. In dieser Arbeit beschreiben wir BERTSUM, eine einfache Variante von BERT, die für extractives Zusammenfassen (extractive summarization) entwickelt wurde. Unser System erreicht den aktuellen Stand der Technik auf dem CNN/Dailymail-Datensatz und übertrifft das bisher beste System um 1,65 Punkte im ROUGE-L-Maß. Der Quellcode zur Reproduktion unserer Ergebnisse ist unter https://github.com/nlpyang/BertSum verfügbar.