SciFive: ein textbasiertes Transformer-Modell für biomedizinische Literatur

In diesem Bericht stellen wir SciFive vor, ein domänenspezifisches T5-Modell, das auf umfangreichen biomedizinischen Korpora vortrainiert wurde. Unser Modell übertrifft die aktuellen Stand-of-the-Art-Methoden (d.h. BERT, BioBERT, Basis-T5) in Aufgaben der benannten Entitätsbeziehungen, Relationsextraktion, natürlichen Sprachschlussfolgerungen und Frage-Antwort-Systemen. Wir zeigen, dass Textgenerierungsverfahren ein erhebliches Potenzial in einer Vielzahl von biomedizinischen NLP-Aufgaben haben, insbesondere bei solchen, die längere und komplexere Ausgaben erfordern. Unsere Ergebnisse legen nahe, dass es sich lohnt, schwierigere Textgenerierungsaufgaben zu erforschen und neue Methoden in diesem Bereich zu entwickeln.