NegBERT: Ein Transfer-Learning-Ansatz für die Erkennung von Verneinungen und den Bereichsauflösung

Die Verneinung ist eine wichtige Eigenschaft der Sprache und ein wesentlicher Bestandteil der Informationsextraktion aus Texten. Diese Teilbereich hat für das biomedizinische Fachgebiet eine erhebliche Bedeutung. Im Laufe der Jahre wurden verschiedene Ansätze untersucht, um dieses Problem anzugehen: regelbasierte Systeme, Klassifikatoren des maschinellen Lernens, bedingte Markow-Modelle (Conditional Random Field Models), CNNs und in jüngerer Zeit BiLSTMs. In dieser Arbeit betrachten wir die Anwendung von Transfer Learning auf dieses Problem. Zunächst führen wir eine umfassende Literaturübersicht durch, die sich mit der Verneinungserkennung und dem Bereichsauflösungsproblem (Scope Resolution) befasst, basierend auf den drei im Laufe der Zeit populären Datensätzen: dem BioScope-Korpus, dem Sherlock-Datensatz und dem SFU-Review-Korpus. Anschließend untersuchen wir die Entscheidungen, die bei der Verwendung von BERT, einem weit verbreiteten Modell des Transfer Learnings, für diese Aufgabe zu treffen sind, und berichten über Stand-des-Wissens-Ergebnisse (state-of-the-art results) für die Bereichsauflösung in allen drei Datensätzen. Unser Modell, als NegBERT bezeichnet, erreicht auf der Bereichsauflösung einen Token-Level-F1-Score von 92,36 auf dem Sherlock-Datensatz, 95,68 auf dem BioScope-Abstracts-Teilkorpus, 91,24 auf dem BioScope-Volltext-Teilkorpus und 90,95 auf dem SFU-Review-Korpus. Es übertreffen damit die bisherigen Stand-des-Wissens-Systeme (state-of-the-art systems) deutlich. Darüber hinaus analysieren wir die Übertragbarkeit des Modells auf Datensätze, auf denen es nicht trainiert wurde.