HyperAIHyperAI

Command Palette

Search for a command to run...

SkipFlow: Einbeziehung neuronaler Kohärenzmerkmale für die end-to-end automatische Textbewertung

Yi Tay Minh C. Phan Luu Anh Tuan Siu Cheung Hui

Zusammenfassung

Tiefes Lernen hat ein enormes Potenzial für Aufgaben des automatischen Textbewertungs (ATB) gezeigt. In dieser Arbeit beschreiben wir eine neue neuronale Architektur, die herkömmliche neuronale Netzmodelle mit zusätzlichen neuronalen Kohärenzmerkmalen erweitert. Unsere neue Methode schlägt einen neuen \textsc{SkipFlow}-Mechanismus vor, der Beziehungen zwischen Schnappschüssen der verborgenen Darstellungen eines Long Short-Term Memory (LSTM)-Netzes modelliert, während es liest. Anschließend werden die semantischen Beziehungen zwischen mehreren Schnappschüssen als zusätzliche Merkmale für die Vorhersage verwendet. Dies hat zwei Hauptvorteile. Erstens sind Essays in der Regel lange Sequenzen, so dass die Speicherfähigkeit des LSTM-Netzes möglicherweise unzureichend ist. Der implizite Zugriff auf mehrere Schnappschüsse kann dieses Problem durch Schutz vor verschwindenden Gradienten lindern. Die Parameter des \textsc{SkipFlow}-Mechanismus dienen auch als zusätzlicher Speicher. Zweitens ermöglicht das Modellieren von Beziehungen zwischen mehreren Positionen unserem Modell, Merkmale zu lernen, die textuelle Kohärenz darstellen und approximieren. In unserem Modell nennen wir diese \textit{neuronale Kohärenz} Merkmale. Insgesamt präsentieren wir eine einheitliche Deep-Learning-Architektur, die neuronale Kohärenzmerkmale in einem End-to-End-Prozess generiert, während sie liest. Unser Ansatz zeigt auf dem Benchmarksdatensatz ASAP eine Spitzenleistung und übertrifft nicht nur die Feature-Engineering-Baselines, sondern auch andere Deep-Learning-Modelle.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp