Clinical-Longformer und Clinical-BigBird: Transformers für lange klinische Sequenzen

Transformers-basierte Modelle, wie beispielsweise BERT, haben die Leistung verschiedener Aufgaben im Bereich des natürlichen Sprachverstehens erheblich verbessert. Das klinischwissensreiche Modell, bekannt als ClinicalBERT, erzielte ebenfalls state-of-the-art-Ergebnisse bei Aufgaben der klinischen Named Entity Recognition und des Natural Language Inference. Eine der zentralen Einschränkungen dieser Transformers liegt in der erheblichen Speicheraufnahme, die durch ihre vollständige Self-Attention-Mechanismus verursacht wird. Um diesem Problem zu begegnen, wurden Langsequenz-Transformer-Modelle wie Longformer und BigBird vorgeschlagen, die auf einem sparsamen Attention-Mechanismus basieren und die Speicheraufnahme von quadratisch in Bezug auf die Sequenzlänge auf eine lineare Skala reduzieren. Diese Modelle erhöhten die maximale Eingabesequenzlänge von 512 auf 4096, was die Fähigkeit zur Modellierung langfristiger Abhängigkeiten verbesserte und zu optimalen Ergebnissen in einer Vielzahl von Aufgaben führte. Inspiriert durch den Erfolg dieser Langsequenz-Transformer-Modelle stellen wir zwei domainspezifische Sprachmodelle vor, nämlich Clinical-Longformer und Clinical-BigBird, die aus großen klinischen Korpora vortrainiert wurden. Wir evaluieren beide vortrainierten Modelle anhand von zehn Baseline-Aufgaben, darunter Named Entity Recognition, Fragebeantwortung und Dokumentklassifikation. Die Ergebnisse zeigen, dass Clinical-Longformer und Clinical-BigBird in allen abgeleiteten Aufgaben konsistent und signifikant besser abschneiden als ClinicalBERT sowie andere Kurzsequenz-Transformer. Den Quellcode stellen wir unter [https://github.com/luoyuanlab/Clinical-Longformer] zur Verfügung, die vortrainierten Modelle sind öffentlich über [https://huggingface.co/yikuan8/Clinical-Longformer] zum Download verfügbar.