HyperAIHyperAI

Command Palette

Search for a command to run...

Eine abstraktive Textzusammenfassungstechnik unter Verwendung eines Transformer-Modells mit Selbst-Attention-Mechanismus

Arun Solanki Sandeep Kumar

Zusammenfassung

Die Erstellung einer zusammenfassenden Version eines Textdokuments, die dennoch präzise Bedeutung vermittelt, ist eine äußerst komplexe Aufgabe im Bereich des Natural Language Processing (NLP). Die abstrakte Textzusammenfassung (Abstract Text Summarization, ATS) bezeichnet den Prozess, bei dem Fakten aus Quell-Sätzen extrahiert und zu kompakten, informativen Darstellungen zusammengefasst werden, wobei Inhalt und Intention des ursprünglichen Textes gewahrt bleiben. Die manuelle Zusammenfassung großer Textmengen ist für Menschen zeitaufwendig und herausfordernd. Daher ist die Textzusammenfassung zu einem spannenden Forschungsfeld im NLP geworden. In diesem Forschungsbeitrag wird ein ATS-Modell vorgestellt, das auf der Transformer-Technologie mit Selbst-Attention-Mechanismus (T2SAM) basiert. Der Selbst-Attention-Mechanismus wird in den Transformer integriert, um das Problem der Kernreferenz (Coreference) in Texten zu lösen, was die Textverstehbarkeit des Systems verbessert. Das vorgeschlagene T2SAM-Modell steigert die Leistungsfähigkeit der Textzusammenfassung signifikant. Es wurde auf dem Inshorts-News-Datensatz in Kombination mit dem DUC-2004-Shared-Tasks-Datensatz trainiert. Die Leistung des vorgeschlagenen Modells wurde mittels der ROUGE-Metriken evaluiert und zeigte eine Überlegenheit gegenüber bestehenden State-of-the-Art-Baselines. Das Modell reduzierte den Trainingsverlust von 10,3058 (am Anfang) auf 1,8220 innerhalb von 30 Epochen und erreichte eine Modellgenauigkeit von 48,50 % F1-Score sowohl auf dem Inshorts- als auch auf dem DUC-2004-News-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp