SkipFlow: Einbeziehung neuronaler Kohärenzmerkmale für die end-to-end automatische Textbewertung

Tiefes Lernen hat ein enormes Potenzial für Aufgaben des automatischen Textbewertungs (ATB) gezeigt. In dieser Arbeit beschreiben wir eine neue neuronale Architektur, die herkömmliche neuronale Netzmodelle mit zusätzlichen neuronalen Kohärenzmerkmalen erweitert. Unsere neue Methode schlägt einen neuen \textsc{SkipFlow}-Mechanismus vor, der Beziehungen zwischen Schnappschüssen der verborgenen Darstellungen eines Long Short-Term Memory (LSTM)-Netzes modelliert, während es liest. Anschließend werden die semantischen Beziehungen zwischen mehreren Schnappschüssen als zusätzliche Merkmale für die Vorhersage verwendet. Dies hat zwei Hauptvorteile. Erstens sind Essays in der Regel lange Sequenzen, so dass die Speicherfähigkeit des LSTM-Netzes möglicherweise unzureichend ist. Der implizite Zugriff auf mehrere Schnappschüsse kann dieses Problem durch Schutz vor verschwindenden Gradienten lindern. Die Parameter des \textsc{SkipFlow}-Mechanismus dienen auch als zusätzlicher Speicher. Zweitens ermöglicht das Modellieren von Beziehungen zwischen mehreren Positionen unserem Modell, Merkmale zu lernen, die textuelle Kohärenz darstellen und approximieren. In unserem Modell nennen wir diese \textit{neuronale Kohärenz} Merkmale. Insgesamt präsentieren wir eine einheitliche Deep-Learning-Architektur, die neuronale Kohärenzmerkmale in einem End-to-End-Prozess generiert, während sie liest. Unser Ansatz zeigt auf dem Benchmarksdatensatz ASAP eine Spitzenleistung und übertrifft nicht nur die Feature-Engineering-Baselines, sondern auch andere Deep-Learning-Modelle.