Neuüberlegung komplexer neuronaler Netzarchitekturen für die Dokumentklassifikation

Neuronale Netzwerkmodelle für zahlreiche NLP-Aufgaben sind in den letzten Jahren zunehmend komplexer geworden, was die Schulung und Bereitstellung erschwert. In einer Reihe neuer Arbeiten wurde die Notwendigkeit solcher Architekturen in Frage gestellt, wobei gezeigt wurde, dass gut implementierte, einfachere Modelle durchaus wirksam sind. Wir zeigen, dass dies auch für die Dokumentklassifikation gilt: In einer groß angelegten Reproduzierbarkeitsstudie mehrerer neuer neuronaler Modelle stellen wir fest, dass eine einfache BiLSTM-Architektur mit geeigneter Regularisierung entweder gleichwertige oder sogar überlegene Genauigkeit und F1-Werte im Vergleich zum Stand der Technik auf vier Standard-Benchmark-Datensätzen erzielt. Überraschenderweise erreicht unser einfaches Modell diese Ergebnisse ohne Verwendung von Aufmerksamkeitsmechanismen. Obwohl die eingesetzten Regularisierungstechniken, die aus der Sprachmodellierung stammen, nicht neu sind, gehen wir davon aus, dass wir die ersten sind, die sie in diesem Kontext anwenden. Unsere Arbeit bietet eine Open-Source-Plattform und legt die Grundlage für zukünftige Forschung in der Dokumentklassifikation.