ELECTRAMed: ein neues vorab trainiertes Sprachrepräsentationsmodell für die biomedizinische NLP

Die enorme Menge an biomedizinischen wissenschaftlichen Texten erfordert die Entwicklung effektiver Sprachmodelle, die in der Lage sind, eine Vielzahl von biomedizinischen Aufgaben der natürlichsprachlichen Verarbeitung (NLP) zu bewältigen. Die aktuell vorherrschenden Ansätze sind domänenspezifische Modelle, die mit allgemeinen textuellen Daten initialisiert und dann auf einer Vielzahl wissenschaftlicher Korpora trainiert werden. Es wurde jedoch beobachtet, dass für spezialisierte Domänen, in denen große Korpora existieren, das von Grund auf Trainieren eines Modells mit nur domänenspezifischem Wissen bessere Ergebnisse liefern kann. Darüber hinaus führte der zunehmende Fokus auf die Rechenkosten für das Pre-Training kürzlich zur Entwicklung effizienterer Architekturen wie ELECTRA. In dieser Arbeit schlagen wir ein pre-trainedes domänenspezifisches Sprachmodell vor, das ELECTRAMed genannt wird und für den biomedizinischen Bereich geeignet ist. Der neue Ansatz übernimmt das Lernframework der allgemeinen ELECTRA-Architektur sowie ihre rechnerischen Vorteile. Experimente an Benchmark-Datensätzen für verschiedene biomedizinische NLP-Aufgaben bestätigen die Nutzbarkeit von ELECTRAMed, das neueste Stand der Technik-Ergebnis am BC5CDR-Korpus für die Erkennung benannter Entitäten setzt und in 2 von 5 Durchgängen des 7. BioASQ-Factoid-Challenges das beste Ergebnis bei der Aufgabe der Fragebeantwortung liefert.