HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Ein schrittweiser Gradientenstrafterm mit Similaritätsberechnung für die Textzusammenfassungserzeugung

{Shuai Zhao}

Abstract

Das mit einem Gradientenstrafe ausgestattete Zusammenfassungsgenerierungsmodell vermeidet Überanpassung und macht das Modell stabiler. Allerdings weist die traditionelle Gradientenstrafe zwei Probleme auf: (i) Die zweifache Berechnung des Gradienten verlängert die Trainingszeit, und (ii) der Störungsfaktor erfordert wiederholte Versuche, um den optimalen Wert zu finden. Um dies zu lösen, schlagen wir ein schrittweises Gradientenstrafe-Modell mit相似itätsberechnung (S2SGP) vor. Zunächst wird das schrittweise Gradientenstrafe-Verfahren auf das Zusammenfassungsgenerierungsmodell angewendet, wodurch die Trainingszeit effektiv reduziert wird, ohne die Genauigkeit zu beeinträchtigen. Zweitens wird der Ähnlichkeitswert zwischen der Referenz- und der Kandidatenzusammenfassung als Störungsfaktor verwendet. Um die Leistungsfähigkeit unseres vorgeschlagenen Ansatzes zu demonstrieren, führen wir Experimente auf vier Zusammenfassungsdatensätzen durch, wobei der EDUSum-Datensatz von uns neu erstellt wurde. Die experimentellen Ergebnisse zeigen, dass S2SGP die Trainingszeit effektiv verringert und die Störungsfaktoren nicht mehr auf wiederholte Versuche angewiesen sind. Insbesondere übertrifft unser Modell die Baseline auf dem CSL-Datensatz um mehr als 2,4 ROUGE-L-Punkte.

Benchmarks

BenchmarkMethodikMetriken
abstractive-text-summarization-on-edusumSeq2seq
ROUGE-1: 48.62
ROUGE-2: 32.32
ROUGE-L: 44.13
abstractive-text-summarization-on-edusumNEZHA
ROUGE-1: 63.91
ROUGE-2: 51.88
ROUGE-L: 61.00
abstractive-text-summarization-on-edusumBERT
ROUGE-1: 62.37
ROUGE-2: 50.70
ROUGE-L: 59.40
abstractive-text-summarization-on-edusumRoBERTa
ROUGE-1: 63.22
ROUGE-2: 51.34
ROUGE-L: 60.26
abstractive-text-summarization-on-edusumGP_Step_Sim
ROUGE-1: 64.48
ROUGE-2: 52.70
ROUGE-L: 61.91

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Ein schrittweiser Gradientenstrafterm mit Similaritätsberechnung für die Textzusammenfassungserzeugung | Forschungsarbeiten | HyperAI