BERT-GT: Cross-Satz n-stellige Relationsextraktion mit BERT und Graph-Transformer

Eine biomedizinische Beziehungsaussage wird in der Regel in mehreren Sätzen ausgedrückt und besteht aus vielen Konzepten, darunter Gene, Krankheiten, Chemikalien und Mutationen. Um Informationen aus biomedizinischer Literatur automatisch zu extrahieren, formulieren bestehende Ansätze des Textminings in der Biomedizin das Problem in der Regel als eine Aufgabe zur Extraktion von n-stelligen Relationen über mehrere Sätze hinweg, die Beziehungen zwischen n Entitäten über mehrere Sätze erkennt, und verwenden entweder ein Graph-Neurales Netzwerk (GNN) mit Long Short-Term Memory (LSTM) oder einen Aufmerksamkeitsmechanismus. Kürzlich wurde gezeigt, dass Transformer in vielen natursprachlichen Verarbeitungsaufgaben (Natural Language Processing, NLP) besser abschneiden als LSTM. In dieser Arbeit schlagen wir eine neuartige Architektur vor, die Bidirectional Encoder Representations from Transformers (BERT) mit Graph Transformer (GT) kombiniert (BERT-GT), indem wir einen Nachbarschaft-Aufmerksamkeitsmechanismus in die BERT-Architektur integrieren. Im Gegensatz zur ursprünglichen Transformer-Architektur, die den gesamten Satz(e) verwendet, um die Aufmerksamkeit des aktuellen Tokens zu berechnen, berechnet der Nachbarschaft-Aufmerksamkeitsmechanismus in unserer Methode seine Aufmerksamkeit nur unter Verwendung seiner Nachbartokens. Somit kann jeder Token sich auf seine Nachbarinformationen konzentrieren, ohne durch Störgeräusche beeinträchtigt zu werden. Wir zeigen, dass dies bei sehr langem Text besonders wichtig ist, wie es bei Aufgaben zur Extraktion von Relationen über mehrere Sätze oder auf Abstrakt-Ebene der Fall ist. Unsere Benchmark-Ergebnisse weisen Verbesserungen von 5,44 % und 3,89 % in Genauigkeit und F1-Maß gegenüber dem Stand der Technik auf den Datensätzen für n-stellige und Chemie-Protein-Beziehungen auf. Dies deutet darauf hin, dass BERT-GT ein robustes Verfahren ist, das auch für andere biomedizinische Beziehungsextraktionsaufgaben oder Datensätze anwendbar ist.