Tief gestaffelte pyramidenförmige convolutionale neuronale Netze für die Textkategorisierung

Diese Arbeit stellt eine niedrigkomplexe, wortbasierte tiefe Faltungsneuronale Netzwerk-(CNN-)Architektur für die Textkategorisierung vor, die in der Lage ist, langreichweitige Zusammenhänge in Texten effizient zu repräsentieren. In der Literatur wurden bereits mehrere tiefe und komplexe neuronale Netzwerke für diese Aufgabe vorgeschlagen, wobei die Verfügbarkeit relativ großer Mengen an Trainingsdaten vorausgesetzt wurde. Allerdings steigt die damit verbundene Rechenkomplexität mit zunehmender Tiefe der Netzwerke erheblich, was praktische Anwendungen erheblich erschwert. Zudem hat sich in jüngster Zeit gezeigt, dass flache, wortbasierte CNNs selbst bei großen Trainingsdatensätzen genauer und deutlich schneller sind als die derzeit besten sehr tiefen Netze, wie beispielsweise zeichenbasierte CNNs. Ausgehend von diesen Erkenntnissen haben wir die Vertiefung wortbasierter CNNs systematisch untersucht, um globale Textrepräsentationen zu erfassen, und dabei eine einfache Netzarchitektur identifiziert, bei der durch Erhöhung der Netzwerk-Tiefe die beste Genauigkeit erzielt werden kann, ohne den Rechenaufwand signifikant zu erhöhen. Wir bezeichnen dieses Modell als „Deep Pyramid CNN“. Das vorgeschlagene Modell mit 15 Gewichtsschichten erreicht auf sechs Benchmark-Datensätzen für Sentiment-Klassifikation und Themenkategorisierung eine bessere Leistung als alle vorherigen besten Modelle.