Getrennte rekurrente neuronale Netzwerke für die Textkategorisierung

Rekurrente neuronale Netze (RNN) haben hervorragende Leistungen in der Textkategorisierung erzielt. RNNs sind in der Lage, die gesamte Sequenz zu modellieren und langfristige Abhängigkeiten zu erfassen, zeichnen sich jedoch nicht durch eine effektive Extraktion zentraler Muster aus. Im Gegensatz dazu sind konvolutionelle neuronale Netze (CNN) besonders gut darin, lokale und positionsinvariante Merkmale zu extrahieren. In diesem Artikel stellen wir ein neuartiges Modell namens disconnected recurrent neural network (DRNN) vor, das die Positionsinvarianz in RNNs integriert. Durch die Beschränkung der Informationsflussdistanz innerhalb des RNNs wird der versteckte Zustand zu jedem Zeitpunkt darauf eingeschränkt, nur Wörter in der Nähe der aktuellen Position zu repräsentieren. Das vorgeschlagene Modell erreicht erhebliche Verbesserungen gegenüber herkömmlichen RNN- und CNN-Modellen und erzielt die bestmögliche Leistung auf mehreren Standard-Datensätzen für die Textkategorisierung.