Tief gestaffelte pyramidenförmige convolutionale neuronale Netze für die Textkategorisierung
{Rie Johnson Tong Zhang}

Abstract
Diese Arbeit stellt eine niedrigkomplexe, wortbasierte tiefe Faltungsneuronale Netzwerk-(CNN-)Architektur für die Textkategorisierung vor, die in der Lage ist, langreichweitige Zusammenhänge in Texten effizient zu repräsentieren. In der Literatur wurden bereits mehrere tiefe und komplexe neuronale Netzwerke für diese Aufgabe vorgeschlagen, wobei die Verfügbarkeit relativ großer Mengen an Trainingsdaten vorausgesetzt wurde. Allerdings steigt die damit verbundene Rechenkomplexität mit zunehmender Tiefe der Netzwerke erheblich, was praktische Anwendungen erheblich erschwert. Zudem hat sich in jüngster Zeit gezeigt, dass flache, wortbasierte CNNs selbst bei großen Trainingsdatensätzen genauer und deutlich schneller sind als die derzeit besten sehr tiefen Netze, wie beispielsweise zeichenbasierte CNNs. Ausgehend von diesen Erkenntnissen haben wir die Vertiefung wortbasierter CNNs systematisch untersucht, um globale Textrepräsentationen zu erfassen, und dabei eine einfache Netzarchitektur identifiziert, bei der durch Erhöhung der Netzwerk-Tiefe die beste Genauigkeit erzielt werden kann, ohne den Rechenaufwand signifikant zu erhöhen. Wir bezeichnen dieses Modell als „Deep Pyramid CNN“. Das vorgeschlagene Modell mit 15 Gewichtsschichten erreicht auf sechs Benchmark-Datensätzen für Sentiment-Klassifikation und Themenkategorisierung eine bessere Leistung als alle vorherigen besten Modelle.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| sentiment-analysis-on-amazon-review-full | DPCNN | Accuracy: 65.19 |
| sentiment-analysis-on-amazon-review-polarity | DPCNN | Accuracy: 96.68 |
| sentiment-analysis-on-yelp-binary | DPCNN | Error: 2.64 |
| sentiment-analysis-on-yelp-fine-grained | DPCNN | Error: 30.58 |
| text-classification-on-ag-news | DPCNN | Error: 6.87 |
| text-classification-on-dbpedia | DPCNN | Error: 0.88 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.