HyperAIHyperAI

Command Palette

Search for a command to run...

Effizientes konvolutionales Aufmerksamkeitsnetzwerk für die Mehrlabel-Klassifikation klinischer Dokumente

Thomas Schaaf Matthew R. Gormley Russell Klopfer Hua Cheng Yang Liu

Zusammenfassung

Problemstellungen der mehrfach-label Dokumentklassifikation (Multi-label Document Classification, MLDC) können herausfordernd sein, insbesondere bei langen Dokumenten mit einer großen Anzahl an Labels und einer langen-Schweif-Verteilung der Labels. In diesem Artikel präsentieren wir ein effektives konvolutionales Aufmerksamkeitsnetzwerk für das MLDC-Problem mit Fokus auf die Vorhersage medizinischer Codes aus klinischen Dokumenten. Unsere Innovationen sind dreifach: (1) Wir nutzen einen tiefen, konvolutionalen Encoder, der auf Squeeze-and-Excitation-Netzwerken und Residual-Netzwerken basiert, um Informationen über das gesamte Dokument zu aggregieren und sinnvolle Dokumentrepräsentationen zu lernen, die verschiedene Textbereiche abdecken; (2) Wir untersuchen mehrschichtige und Summen-Pooling-Aufmerksamkeit, um die informativsten Merkmale aus diesen mehrskaligen Darstellungen zu extrahieren; (3) Wir kombinieren die binäre Kreuzentropie-Verlustfunktion mit der Focal-Loss, um die Leistung für seltene Labels zu verbessern. Wir konzentrieren unsere Evaluierungsstudie auf MIMIC-III, einen weit verbreiteten Datensatz im medizinischen Bereich. Unsere Modelle schlagen vorherige Ansätze bei der medizinischen Kodierung und erreichen neue SOTA-Ergebnisse (state-of-the-art) auf mehreren Metriken. Außerdem zeigen wir die sprachunabhängige Natur unseres Ansatzes, indem wir ihn auf zwei nicht-englische Datensätze anwenden. Unser Modell übertrifft sowohl das bisher beste Modell als auch ein mehrsprachiges Transformer-Modell deutlich.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp