Verbesserung der Extraktion klinischer Konzepte durch kontextuelle Einbettungen

Neuronale Netzwerkbasierte Darstellungen („Embeddings“) haben die Verarbeitung natürlicher Sprache (NLP) erheblich vorangebracht, einschließlich klinischer NLP-Aufgaben wie der Konzeptextraktion. Kürzlich jedoch haben fortschrittlichere Embedding-Methoden und -Darstellungen (z.B. ELMo, BERT) den Stand der Technik in der NLP weiter verbessert, es gibt jedoch keine allgemein akzeptierten Best Practices für die Integration dieser Darstellungen in klinische Aufgaben. Das Ziel dieser Studie besteht daher darin, das Spektrum möglicher Optionen bei der Nutzung dieser neuen Modelle für die klinische Konzeptextraktion zu erforschen, wobei diese auch mit traditionellen Wort-Darstellungsmethoden (word2vec, GloVe, fastText) verglichen werden. Es werden sowohl standardisierte offene Domänen-Embeddings als auch vortrainierte klinische Embeddings aus MIMIC-III evaluiert. Wir untersuchen eine Reihe von Embedding-Methoden, die aus traditionellen Wort-Embeddings und kontextuellen Embeddings bestehen, und vergleichen diese anhand vier Konzeptextraktions-Korpora: i2b2 2010, i2b2 2012, SemEval 2014 und SemEval 2015. Zudem analysieren wir den Einfluss der Vortrainierungszeit eines großen Sprachmodells wie ELMo oder BERT auf die Extraktionsleistung. Schließlich präsentieren wir eine anschauliche Methode zur Interpretation der semantischen Informationen, die durch kontextuelle Embeddings kodiert sind. Kontextuelle Embeddings, die auf einem großen klinischen Korpus vortrainiert wurden, erreichen neue Top-Leistungen in allen Konzeptextraktionsaufgaben. Das leistungsfähigste Modell übertrifft alle bisherigen Top-Methoden mit entsprechenden F1-Werten von 90,25, 93,18 (teilweise), 80,74 und 81,65. Wir zeigen das Potenzial kontextueller Embeddings durch die Top-Leistungen auf dem Gebiet der klinischen Konzeptextraktion. Zudem demonstrieren wir, dass kontextuelle Embeddings wertvolle semantische Informationen kodieren, die in traditionellen Wortdarstellungen nicht berücksichtigt werden.