BioGPT: Generativer vortrainierter Transformer für die Generierung und Auswertung biomedizinischer Texte

Vortrainierte Sprachmodelle haben im biomedizinischen Bereich zunehmend Aufmerksamkeit erregt, angeregt durch ihre herausragenden Erfolge im allgemeinen Bereich der natürlichen Sprache. Unter den beiden Hauptzweigen vortrainierter Sprachmodelle im allgemeinen Sprachbereich – nämlich BERT (und dessen Varianten) sowie GPT (und dessen Varianten) – wurde ersterer umfassend im biomedizinischen Kontext erforscht, beispielsweise in Form von BioBERT und PubMedBERT. Obwohl diese Modelle erhebliche Erfolge bei einer Vielzahl diskriminativer biomedizinischer Aufgaben erzielt haben, beschränkt ihre fehlende Generierungsfähigkeit ihren Anwendungsbereich. In diesem Artikel stellen wir BioGPT vor, ein domainspezifisches, generatives Transformer-Sprachmodell, das auf großskaligen biomedizinischen Literaturdaten vortrainiert wurde. Wir evaluieren BioGPT an sechs biomedizinischen NLP-Aufgaben und zeigen, dass unser Modell auf den meisten dieser Aufgaben die bisherigen Modelle übertrifft. Insbesondere erzielen wir F1-Scores von 44,98 %, 38,42 % und 40,76 % bei den Aufgaben zur End-to-End-Beziehungsextraktion in BC5CDR, KD-DTI und DDI sowie eine Genauigkeit von 78,2 % bei PubMedQA, wodurch ein neuer Rekord gesetzt wird. Eine Fallstudie zur Textgenerierung unterstreicht zudem den Vorteil von BioGPT bei der Erstellung flüssiger Beschreibungen biomedizinischer Begriffe auf Basis biomedizinischer Literatur. Der Quellcode ist unter https://github.com/microsoft/BioGPT verfügbar.