Ein hierarchisch strukturiertes selbst-attentives Modell für extraktive Dokumentenzusammenfassung (HSSAS)

Die jüngsten Fortschritte in der Architektur und den Trainingsalgorithmen von neuronalen Netzen haben die Effektivität des Repräsentationslernens gezeigt. Die auf neuronalen Netzen basierenden Modelle erzeugen bessere Repräsentationen als die traditionellen. Sie verfügen über die Fähigkeit, verteilte Repräsentationen für Sätze und Dokumente automatisch zu lernen. Zu diesem Zweck schlugen wir ein neues Modell vor, das mehrere Probleme behebt, die von den bisher vorgeschlagenen Modellen nicht ausreichend modelliert wurden, wie das Gedächtnisproblem und die Einbeziehung des Wissens über die Dokumentstruktur. Unser Modell verwendet einen hierarchisch strukturierten Selbst-Aufmerksamkeitsmechanismus (self-attention mechanism), um die Satz- und Dokumentrepräsentationen zu erstellen. Diese Architektur spiegelt die hierarchische Struktur des Dokuments wider und ermöglicht es uns, eine bessere Merkmalsrepräsentation zu erhalten. Der Aufmerksamkeitsmechanismus bietet eine zusätzliche Informationsquelle, um die Zusammenfassungsextraktion zu leiten. Das neue Modell behandelt die Zusammenfassungsaufgabe als Klassifikationsproblem, bei dem das Modell die jeweiligen Wahrscheinlichkeiten der Zugehörigkeit von Satz zu Zusammenfassung berechnet. Die Modellvorhersagen werden durch verschiedene Merkmale wie Informationsgehalt, Wichtigkeit, Neuheit und positionale Repräsentation unterteilt. Das vorgeschlagene Modell wurde anhand zweier bekannter Datensätze evaluiert: CNN/Daily Mail und DUC 2002. Die experimentellen Ergebnisse zeigen, dass unser Modell den aktuellen Stand der Technik im Bereich extraktiver Zusammenfassungen deutlich übertreffen kann.