GRN: Gated Relation Network zur Verbesserung von Faltungsneuronalen Netzen für die Erkennung benannter Entitäten

Die vorherrschenden Ansätze für die Erkennung benannter Entitäten (Named Entity Recognition, NER) setzen in der Regel komplexe rekurrente Neuronale Netze (Recurrent Neural Networks, RNN) ein, wie z.B. Long-Short-Term-Memory (LSTM)-Netze. Allerdings sind RNNs aufgrund ihrer rekurrenten Natur in Bezug auf die rechnerische Effizienz begrenzt. Im Gegensatz dazu können Faltungsneuronale Netze (Convolutional Neural Networks, CNN) dank ihrer feedforward-Architekturen die vollständige GPU-Parallelität nutzen. Dennoch wurde bisher wenig Aufmerksamkeit den CNNs bei der Durchführung von NER gewidmet, hauptsächlich aufgrund ihrer Schwierigkeiten, langfristige Kontextinformationen in einer Sequenz zu erfassen. In dieser Arbeit schlagen wir ein einfaches, aber effektives CNN-basiertes Netzwerk für NER vor, nämlich das Gated Relation Network (GRN), welches im Vergleich zu herkömmlichen CNNs eine bessere Fähigkeit zur Erfassung langfristigen Kontexts aufweist. Speziell verwenden wir in dem GRN zunächst CNNs, um die lokalen Kontextmerkmale jedes Wortes zu erkunden. Anschließend modellieren wir die Beziehungen zwischen Wörtern und verwenden diese als Schalter, um lokale Kontextmerkmale in globale zu fusionieren, um Labels vorherzusagen. Ohne sequentielle Verarbeitung von Sätzen durch rekurrente Schichten ermöglicht unser GRN es, Berechnungen über den gesamten Satz hinweg parallel durchzuführen. Experimente mit zwei Benchmark-Datensätzen für NER (nämlich CoNLL2003 und Ontonotes 5.0) zeigen, dass unser vorgeschlagenes GRN sowohl mit als auch ohne externe Kenntnisse Spitzenleistungen erzielen kann. Es zeichnet sich außerdem durch geringere Zeitaufwendungen für das Training und Testen aus. Der Code ist öffentlich zugänglich unter https://github.com/HuiChen24/NER-GRN.