HyperAIHyperAI

Command Palette

Search for a command to run...

BioGPT: Generativer vortrainierter Transformer für die Generierung und Auswertung biomedizinischer Texte

Renqian Luo Liai Sun Yingce Xia Tao Qin Sheng Zhang Hoifung Poon Tie-Yan Liu

Zusammenfassung

Vortrainierte Sprachmodelle haben im biomedizinischen Bereich zunehmend Aufmerksamkeit erregt, angeregt durch ihre herausragenden Erfolge im allgemeinen Bereich der natürlichen Sprache. Unter den beiden Hauptzweigen vortrainierter Sprachmodelle im allgemeinen Sprachbereich – nämlich BERT (und dessen Varianten) sowie GPT (und dessen Varianten) – wurde ersterer umfassend im biomedizinischen Kontext erforscht, beispielsweise in Form von BioBERT und PubMedBERT. Obwohl diese Modelle erhebliche Erfolge bei einer Vielzahl diskriminativer biomedizinischer Aufgaben erzielt haben, beschränkt ihre fehlende Generierungsfähigkeit ihren Anwendungsbereich. In diesem Artikel stellen wir BioGPT vor, ein domainspezifisches, generatives Transformer-Sprachmodell, das auf großskaligen biomedizinischen Literaturdaten vortrainiert wurde. Wir evaluieren BioGPT an sechs biomedizinischen NLP-Aufgaben und zeigen, dass unser Modell auf den meisten dieser Aufgaben die bisherigen Modelle übertrifft. Insbesondere erzielen wir F1-Scores von 44,98 %, 38,42 % und 40,76 % bei den Aufgaben zur End-to-End-Beziehungsextraktion in BC5CDR, KD-DTI und DDI sowie eine Genauigkeit von 78,2 % bei PubMedQA, wodurch ein neuer Rekord gesetzt wird. Eine Fallstudie zur Textgenerierung unterstreicht zudem den Vorteil von BioGPT bei der Erstellung flüssiger Beschreibungen biomedizinischer Begriffe auf Basis biomedizinischer Literatur. Der Quellcode ist unter https://github.com/microsoft/BioGPT verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp