Neuüberlegung komplexer neuronaler Netzarchitekturen für die Dokumentklassifikation
{Ashutosh Adhikari Achyudh Ram Raphael Tang Jimmy Lin}

Abstract
Neuronale Netzwerkmodelle für zahlreiche NLP-Aufgaben sind in den letzten Jahren zunehmend komplexer geworden, was die Schulung und Bereitstellung erschwert. In einer Reihe neuer Arbeiten wurde die Notwendigkeit solcher Architekturen in Frage gestellt, wobei gezeigt wurde, dass gut implementierte, einfachere Modelle durchaus wirksam sind. Wir zeigen, dass dies auch für die Dokumentklassifikation gilt: In einer groß angelegten Reproduzierbarkeitsstudie mehrerer neuer neuronaler Modelle stellen wir fest, dass eine einfache BiLSTM-Architektur mit geeigneter Regularisierung entweder gleichwertige oder sogar überlegene Genauigkeit und F1-Werte im Vergleich zum Stand der Technik auf vier Standard-Benchmark-Datensätzen erzielt. Überraschenderweise erreicht unser einfaches Modell diese Ergebnisse ohne Verwendung von Aufmerksamkeitsmechanismen. Obwohl die eingesetzten Regularisierungstechniken, die aus der Sprachmodellierung stammen, nicht neu sind, gehen wir davon aus, dass wir die ersten sind, die sie in diesem Kontext anwenden. Unsere Arbeit bietet eine Open-Source-Plattform und legt die Grundlage für zukünftige Forschung in der Dokumentklassifikation.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| document-classification-on-imdb-m | LSTM-reg (single model) | Accuracy: 52.8 |
| document-classification-on-reuters-21578 | LSTM-reg (single model) | F1: 87.0 |
| text-classification-on-yelp-5 | LSTM-reg (single moedl) | Accuracy: 68.7% |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.