BioNLI: Erzeugung eines biomedizinischen NLI-Datensatzes unter Verwendung lexiko-semantischer Einschränkungen für adversarielle Beispiele

Natürliche Sprachinferenz (Natural Language Inference, NLI) ist für komplexe Entscheidungsprozesse im biomedizinischen Bereich von entscheidender Bedeutung. Eine zentrale Frage beispielsweise ist, ob ein gegebener biomedizinischer Mechanismus durch experimentelle Evidenz gestützt wird. Dies kann als NLI-Aufgabe betrachtet werden, doch es existieren derzeit keine direkt verwendbaren Datensätze, um diese Fragestellung zu adressieren. Die Hauptursache hierfür ist, dass die manuelle Erzeugung informativer negativer Beispiele für diese Aufgabe schwierig und kostspielig ist. Wir stellen ein neuartiges semi-supervisiertes Verfahren vor, das einen NLI-Datensatz aus bereits bestehenden biomedizinischen Datensätzen ableitet, die Mechanismen mit experimentellen Befunden aus Abstracts verknüpfen. Wir generieren eine Vielzahl negativer Beispiele mittels neun Strategien, die die Struktur der zugrundeliegenden Mechanismen sowohl durch Regeln – beispielsweise durch Umkehrung der Rollen der beteiligten Entitäten in einer Interaktion – als auch, noch wichtiger, durch Störungen mittels logischer Constraints in einem neuro-logischen Dekodierungssystem manipulieren. Mit diesem Verfahren erstellen wir einen neuen Datensatz für die NLI im biomedizinischen Bereich, namens BioNLI, und benchmarken zwei aktuelle, state-of-the-art biomedizinische Klassifikatoren. Das beste erzielte Ergebnis liegt bei etwa F1-Werten im mittleren Siebzigertbereich, was die Schwierigkeit der Aufgabe unterstreicht. Kritisch ist dabei, dass die Leistung auf den verschiedenen Klassen negativer Beispiele stark variiert: Während bei einfachen negativen Beispielen, die durch Rollentausch entstanden sind, ein F1-Wert von 97 % erreicht wird, liegt die Leistung bei negativen Beispielen, die mittels neuro-logischer Dekodierung generiert wurden, kaum über dem Zufallsniveau.