Nein bedeutet Nein; ein nicht unangemessener Modellierungsansatz mit integriertem spekulativem Kontext

Motivation: Medizinische Daten sind naturgemäß komplex, da Begriffe in Dokumenten gewöhnlich in unterschiedlichen Kontexten auftreten. In dieser Arbeit untersuchen wir die Fähigkeit verschiedener Biomedizin-Modelle (BioBERT, BioELECTRA, PubMedBERT) hinsichtlich ihres Verständnisses von „Negation und Spekulation“ und stellen fest, dass diese Modelle nicht in der Lage sind, zwischen „negierten“ und „nicht-negierten“ Kontexten zu unterscheiden. Um das Verständnis der Modelle zu messen, verwenden wir Kosinus-Ähnlichkeitsscores zwischen negierten und nicht-negierten Satz-Embeddings. Um die Leistung dieser Modelle zu verbessern, stellen wir einen generischen Super-Tuning-Ansatz vor, der die Embeddings hinsichtlich Negation und Spekulation durch Nutzung eines synthetisierten Datensatzes verbessert.Ergebnisse: Nach dem Super-Tuning der Modelle zeigen sich deutlich verbesserte Fähigkeiten in der Erkennung negativer und spekulativer Kontexte. Zudem führen wir eine Feinabstimmung (Fine-Tuning) der super-tunten Modelle auf verschiedenen Aufgaben durch und stellen fest, dass die Modelle die vorherigen Ansätze übertreffen und auf den BioScope-Abstracts und dem Sherlock-Datensatz die derzeit beste (state-of-the-art, SOTA) Leistung bei der Erkennung von Negation, Spekulationsindikatoren und -Bereichen erzielen. Wir bestätigen außerdem, dass unser Ansatz nach dem Super-Tuning nur ein minimaler Leistungseinbuße bei anderen Aufgaben wie Natural Language Inference verursacht.