Effizientes konvolutionales Aufmerksamkeitsnetzwerk für die Mehrlabel-Klassifikation klinischer Dokumente

Problemstellungen der mehrfach-label Dokumentklassifikation (Multi-label Document Classification, MLDC) können herausfordernd sein, insbesondere bei langen Dokumenten mit einer großen Anzahl an Labels und einer langen-Schweif-Verteilung der Labels. In diesem Artikel präsentieren wir ein effektives konvolutionales Aufmerksamkeitsnetzwerk für das MLDC-Problem mit Fokus auf die Vorhersage medizinischer Codes aus klinischen Dokumenten. Unsere Innovationen sind dreifach: (1) Wir nutzen einen tiefen, konvolutionalen Encoder, der auf Squeeze-and-Excitation-Netzwerken und Residual-Netzwerken basiert, um Informationen über das gesamte Dokument zu aggregieren und sinnvolle Dokumentrepräsentationen zu lernen, die verschiedene Textbereiche abdecken; (2) Wir untersuchen mehrschichtige und Summen-Pooling-Aufmerksamkeit, um die informativsten Merkmale aus diesen mehrskaligen Darstellungen zu extrahieren; (3) Wir kombinieren die binäre Kreuzentropie-Verlustfunktion mit der Focal-Loss, um die Leistung für seltene Labels zu verbessern. Wir konzentrieren unsere Evaluierungsstudie auf MIMIC-III, einen weit verbreiteten Datensatz im medizinischen Bereich. Unsere Modelle schlagen vorherige Ansätze bei der medizinischen Kodierung und erreichen neue SOTA-Ergebnisse (state-of-the-art) auf mehreren Metriken. Außerdem zeigen wir die sprachunabhängige Natur unseres Ansatzes, indem wir ihn auf zwei nicht-englische Datensätze anwenden. Unser Modell übertrifft sowohl das bisher beste Modell als auch ein mehrsprachiges Transformer-Modell deutlich.