Die Lösung des Umfangs von Spekulation und Negation durch transformerbasierte Architekturen

Spekulation ist ein natürlicher Phänomen in textuellen Daten und bildet eine wesentliche Komponente vieler Systeme, insbesondere im Bereich der biomedizinischen Informationsabruf. Frühere Arbeiten zur Erkennung von Indikatoren und zur Auflösung des Umfangs (den beiden Teilaufgaben der Spekulationserkennung) reichten von regelbasierten Systemen bis hin zu Ansätzen auf Basis des tiefen Lernens. In dieser Arbeit wenden wir drei weit verbreitete transformer-basierte Architekturen, nämlich BERT, XLNet und RoBERTa, auf diese Aufgabe an, wobei wir zwei öffentlich zugängliche Datensätze verwenden: den BioScope-Korpus und den SFU-Review-Korpus. Wir berichten über erhebliche Verbesserungen gegenüber früheren Ergebnissen (mindestens 0,29 F1-Punkte bei der Erkennung von Indikatoren und 4,27 F1-Punkte bei der Auflösung des Umfangs). Zudem führen wir Experimente mit dem gemeinsamen Training des Modells auf mehreren Datensätzen durch, was den Ansatz des Einzel-Datensatz-Trainings deutlich übertrifft. Wir stellen fest, dass XLNet konsistent bessere Ergebnisse als BERT und RoBERTa erzielt, im Gegensatz zu Ergebnissen auf anderen Benchmark-Datensätzen. Um diese Beobachtung zu bestätigen, wenden wir XLNet und RoBERTa auf die Negationserkennung und die Auflösung des Negationsumfangs an und berichten über Stand-of-the-Art-Ergebnisse bei der Auflösung des Negationsumfangs für den BioScope-Korpus (Zunahme um 3,16 F1-Punkte in den vollständigen BioScope-Arbeiten und um 0,06 F1-Punkte in den BioScope-Zusammenfassungen) sowie für den SFU-Review-Korpus (Zunahme um 0,3 F1-Punkte).