HyperAIHyperAI

Command Palette

Search for a command to run...

Neuüberlegung komplexer neuronaler Netzarchitekturen für die Dokumentklassifikation

Ashutosh Adhikari Achyudh Ram Raphael Tang Jimmy Lin

Zusammenfassung

Neuronale Netzwerkmodelle für zahlreiche NLP-Aufgaben sind in den letzten Jahren zunehmend komplexer geworden, was die Schulung und Bereitstellung erschwert. In einer Reihe neuer Arbeiten wurde die Notwendigkeit solcher Architekturen in Frage gestellt, wobei gezeigt wurde, dass gut implementierte, einfachere Modelle durchaus wirksam sind. Wir zeigen, dass dies auch für die Dokumentklassifikation gilt: In einer groß angelegten Reproduzierbarkeitsstudie mehrerer neuer neuronaler Modelle stellen wir fest, dass eine einfache BiLSTM-Architektur mit geeigneter Regularisierung entweder gleichwertige oder sogar überlegene Genauigkeit und F1-Werte im Vergleich zum Stand der Technik auf vier Standard-Benchmark-Datensätzen erzielt. Überraschenderweise erreicht unser einfaches Modell diese Ergebnisse ohne Verwendung von Aufmerksamkeitsmechanismen. Obwohl die eingesetzten Regularisierungstechniken, die aus der Sprachmodellierung stammen, nicht neu sind, gehen wir davon aus, dass wir die ersten sind, die sie in diesem Kontext anwenden. Unsere Arbeit bietet eine Open-Source-Plattform und legt die Grundlage für zukünftige Forschung in der Dokumentklassifikation.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp