Kompositionelles Codierungskapselnetzwerk mit K-Means-Routing für Textklassifizierung

Die Textklassifizierung ist ein anspruchsvolles Problem, das darauf abzielt, die Kategorie von Texten zu identifizieren. Im Trainingsprozess nehmen Wortvektoren einen großen Teil der Parameter ein. Unter der Einschränkung begrenzter Rechenressourcen begrenzt dies indirekt die Fähigkeiten nachfolgender Netzwerkdesigns. Um die Anzahl der Parameter zu reduzieren, wurde kürzlich der kompositionale Codierungsmechanismus vorgeschlagen. Auf dieser Grundlage untersucht dieser Artikel den kompositionellen Codierungsmechanismus weiter und schlägt eine gewichtete kompositionelle Codierungsmethode vor. Zudem wenden wir ein Capsule-Netzwerk an, um das Verhältnis zwischen den Wortvektoren zu modellieren. Ein neuer Routingalgorithmus, der auf der Theorie des k-means-Clustering basiert, wird vorgestellt, um das Verhältnis zwischen den Wortvektoren vollständig auszuwerten. In Kombination mit unserer gewichteten kompositionellen Codierungsmethode und dem Routingalgorithmus entwerfen wir ein neuronales Netzwerk für die Textklassifizierung. Experimente auf acht anspruchsvollen Textklassifizierungsdatensätzen zeigen, dass die vorgeschlagene Methode eine vergleichbare Genauigkeit erreicht wie der Stand der Technik, jedoch mit deutlich weniger Parametern.