HyperAIHyperAI

Command Palette

Search for a command to run...

Nein bedeutet Nein; ein nicht unangemessener Modellierungsansatz mit integriertem spekulativem Kontext

Amit Gautam Akshayraj M Priya Tiwary

Zusammenfassung

Motivation: Medizinische Daten sind naturgemäß komplex, da Begriffe in Dokumenten gewöhnlich in unterschiedlichen Kontexten auftreten. In dieser Arbeit untersuchen wir die Fähigkeit verschiedener Biomedizin-Modelle (BioBERT, BioELECTRA, PubMedBERT) hinsichtlich ihres Verständnisses von „Negation und Spekulation“ und stellen fest, dass diese Modelle nicht in der Lage sind, zwischen „negierten“ und „nicht-negierten“ Kontexten zu unterscheiden. Um das Verständnis der Modelle zu messen, verwenden wir Kosinus-Ähnlichkeitsscores zwischen negierten und nicht-negierten Satz-Embeddings. Um die Leistung dieser Modelle zu verbessern, stellen wir einen generischen Super-Tuning-Ansatz vor, der die Embeddings hinsichtlich Negation und Spekulation durch Nutzung eines synthetisierten Datensatzes verbessert.Ergebnisse: Nach dem Super-Tuning der Modelle zeigen sich deutlich verbesserte Fähigkeiten in der Erkennung negativer und spekulativer Kontexte. Zudem führen wir eine Feinabstimmung (Fine-Tuning) der super-tunten Modelle auf verschiedenen Aufgaben durch und stellen fest, dass die Modelle die vorherigen Ansätze übertreffen und auf den BioScope-Abstracts und dem Sherlock-Datensatz die derzeit beste (state-of-the-art, SOTA) Leistung bei der Erkennung von Negation, Spekulationsindikatoren und -Bereichen erzielen. Wir bestätigen außerdem, dass unser Ansatz nach dem Super-Tuning nur ein minimaler Leistungseinbuße bei anderen Aufgaben wie Natural Language Inference verursacht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp