HyperAIHyperAI

Command Palette

Search for a command to run...

Ein hierarchisch strukturiertes selbst-attentives Modell für extraktive Dokumentenzusammenfassung (HSSAS)

KAMAL AL-SABAHI ZHANG ZUPING MOHAMMED NADHER

Zusammenfassung

Die jüngsten Fortschritte in der Architektur und den Trainingsalgorithmen von neuronalen Netzen haben die Effektivität des Repräsentationslernens gezeigt. Die auf neuronalen Netzen basierenden Modelle erzeugen bessere Repräsentationen als die traditionellen. Sie verfügen über die Fähigkeit, verteilte Repräsentationen für Sätze und Dokumente automatisch zu lernen. Zu diesem Zweck schlugen wir ein neues Modell vor, das mehrere Probleme behebt, die von den bisher vorgeschlagenen Modellen nicht ausreichend modelliert wurden, wie das Gedächtnisproblem und die Einbeziehung des Wissens über die Dokumentstruktur. Unser Modell verwendet einen hierarchisch strukturierten Selbst-Aufmerksamkeitsmechanismus (self-attention mechanism), um die Satz- und Dokumentrepräsentationen zu erstellen. Diese Architektur spiegelt die hierarchische Struktur des Dokuments wider und ermöglicht es uns, eine bessere Merkmalsrepräsentation zu erhalten. Der Aufmerksamkeitsmechanismus bietet eine zusätzliche Informationsquelle, um die Zusammenfassungsextraktion zu leiten. Das neue Modell behandelt die Zusammenfassungsaufgabe als Klassifikationsproblem, bei dem das Modell die jeweiligen Wahrscheinlichkeiten der Zugehörigkeit von Satz zu Zusammenfassung berechnet. Die Modellvorhersagen werden durch verschiedene Merkmale wie Informationsgehalt, Wichtigkeit, Neuheit und positionale Repräsentation unterteilt. Das vorgeschlagene Modell wurde anhand zweier bekannter Datensätze evaluiert: CNN/Daily Mail und DUC 2002. Die experimentellen Ergebnisse zeigen, dass unser Modell den aktuellen Stand der Technik im Bereich extraktiver Zusammenfassungen deutlich übertreffen kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp