BioFLAIR: Vorgefertigte zusammengefasste kontextbezogene Einbettungen für die Biomedizinische Sequenzmarkierungsaufgaben

Die Erkennung benannter Entitäten im biomedizinischen Bereich (Biomedical Named Entity Recognition, NER) stellt eine herausfordernde Aufgabe in der Verarbeitung biomedizinischer Informationen dar, aufgrund der weit verbreiteten Ambiguität von Kontexten und der umfangreichen lexikalischen Variationen. Die Leistung bei Benchmarks für bioNER verbessert sich kontinuierlich dank Fortschritten wie BERT, GPT und XLNet. FLAIR (1) ist ein alternatives Embedding-Modell, das weniger rechenintensiv ist als die bereits erwähnten Modelle. Wir testen FLAIR und dessen vorab trainierte PubMed-Embeddings (die wir als BioFLAIR bezeichnen) an verschiedenen bio NER-Aufgaben und vergleichen diese mit den Ergebnissen von BERT-artigen Netzwerken. Zudem untersuchen wir die Auswirkungen einer geringfügigen zusätzlichen Vorabtrainierung mit PubMed-Inhalten sowie die Kombination von FLAIR- und ELMO-Modellen. Wir stellen fest, dass FLAIR mit den bereitgestellten Embeddings vergleichbar gut abschneidet wie die BERT-Netzwerke – es etabliert sogar einen neuen Stand der Technik bei einem Benchmark. Die zusätzliche Vorabtrainierung brachte keinen klaren Vorteil, obwohl dies sich ändern könnte, wenn noch mehr Vorabtrainierung durchgeführt wird. Das Kombinieren von FLAIR-Embeddings mit anderen Embeddings führt in der Regel zu einer Steigerung der Benchmark-Ergebnisse.