HyperAIHyperAI

Command Palette

Search for a command to run...

ELECTRAMed: ein neues vorab trainiertes Sprachrepräsentationsmodell für die biomedizinische NLP

Giacomo Miolo Giulio Mantoan Carlotta Orsenigo

Zusammenfassung

Die enorme Menge an biomedizinischen wissenschaftlichen Texten erfordert die Entwicklung effektiver Sprachmodelle, die in der Lage sind, eine Vielzahl von biomedizinischen Aufgaben der natürlichsprachlichen Verarbeitung (NLP) zu bewältigen. Die aktuell vorherrschenden Ansätze sind domänenspezifische Modelle, die mit allgemeinen textuellen Daten initialisiert und dann auf einer Vielzahl wissenschaftlicher Korpora trainiert werden. Es wurde jedoch beobachtet, dass für spezialisierte Domänen, in denen große Korpora existieren, das von Grund auf Trainieren eines Modells mit nur domänenspezifischem Wissen bessere Ergebnisse liefern kann. Darüber hinaus führte der zunehmende Fokus auf die Rechenkosten für das Pre-Training kürzlich zur Entwicklung effizienterer Architekturen wie ELECTRA. In dieser Arbeit schlagen wir ein pre-trainedes domänenspezifisches Sprachmodell vor, das ELECTRAMed genannt wird und für den biomedizinischen Bereich geeignet ist. Der neue Ansatz übernimmt das Lernframework der allgemeinen ELECTRA-Architektur sowie ihre rechnerischen Vorteile. Experimente an Benchmark-Datensätzen für verschiedene biomedizinische NLP-Aufgaben bestätigen die Nutzbarkeit von ELECTRAMed, das neueste Stand der Technik-Ergebnis am BC5CDR-Korpus für die Erkennung benannter Entitäten setzt und in 2 von 5 Durchgängen des 7. BioASQ-Factoid-Challenges das beste Ergebnis bei der Aufgabe der Fragebeantwortung liefert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ELECTRAMed: ein neues vorab trainiertes Sprachrepräsentationsmodell für die biomedizinische NLP | Paper | HyperAI