Abstraktive Textklassifizierung mit sequenzbasierten Faltungsneuralnetzen

Wir schlagen ein neues tiefes neuronales Netzwerkmodell und dessen Trainingsmethode für die Textklassifizierung vor. Unser Modell, Sequenz-zu-Faltung Neuronale Netze (Seq2CNN), besteht aus zwei Blöcken: einem sequentiellen Block, der Eingabetexte zusammenfasst, und einem Faltungsblock, der die Zusammenfassung des Eingabetexts erhält und sie einer Kategorie zuordnet. Das Seq2CNN wird von Anfang bis Ende trainiert, um Texte unterschiedlicher Länge ohne Vorverarbeitung der Eingaben auf eine feste Länge zu klassifizieren. Darüber hinaus stellen wir die Methode des schrittweisen Gewichtsschiebs (Gradual Weight Shift, GWS) vor, die das Training stabilisiert. GWS wird auf die Verlustfunktion unseres Modells angewendet. Wir verglichen unser Modell mit wortbasierten TextCNNs, die mit verschiedenen Datenvorverarbeitungsmethoden trainiert wurden. Wir erzielten eine signifikante Verbesserung der Klassifizierungsgenauigkeit im Vergleich zu wortbasierten TextCNNs ohne jegliche Ensemble- oder Datenaugmentierungstechniken.