HyperAIHyperAI

Command Palette

Search for a command to run...

GRN: Gated Relation Network zur Verbesserung von Faltungsneuronalen Netzen für die Erkennung benannter Entitäten

Hui Chen†, Zijia Lin‡, Guiguang Ding†, Jianguang Lou†, Yusen Zhang§, Borje Karlsson‡

Zusammenfassung

Die vorherrschenden Ansätze für die Erkennung benannter Entitäten (Named Entity Recognition, NER) setzen in der Regel komplexe rekurrente Neuronale Netze (Recurrent Neural Networks, RNN) ein, wie z.B. Long-Short-Term-Memory (LSTM)-Netze. Allerdings sind RNNs aufgrund ihrer rekurrenten Natur in Bezug auf die rechnerische Effizienz begrenzt. Im Gegensatz dazu können Faltungsneuronale Netze (Convolutional Neural Networks, CNN) dank ihrer feedforward-Architekturen die vollständige GPU-Parallelität nutzen. Dennoch wurde bisher wenig Aufmerksamkeit den CNNs bei der Durchführung von NER gewidmet, hauptsächlich aufgrund ihrer Schwierigkeiten, langfristige Kontextinformationen in einer Sequenz zu erfassen. In dieser Arbeit schlagen wir ein einfaches, aber effektives CNN-basiertes Netzwerk für NER vor, nämlich das Gated Relation Network (GRN), welches im Vergleich zu herkömmlichen CNNs eine bessere Fähigkeit zur Erfassung langfristigen Kontexts aufweist. Speziell verwenden wir in dem GRN zunächst CNNs, um die lokalen Kontextmerkmale jedes Wortes zu erkunden. Anschließend modellieren wir die Beziehungen zwischen Wörtern und verwenden diese als Schalter, um lokale Kontextmerkmale in globale zu fusionieren, um Labels vorherzusagen. Ohne sequentielle Verarbeitung von Sätzen durch rekurrente Schichten ermöglicht unser GRN es, Berechnungen über den gesamten Satz hinweg parallel durchzuführen. Experimente mit zwei Benchmark-Datensätzen für NER (nämlich CoNLL2003 und Ontonotes 5.0) zeigen, dass unser vorgeschlagenes GRN sowohl mit als auch ohne externe Kenntnisse Spitzenleistungen erzielen kann. Es zeichnet sich außerdem durch geringere Zeitaufwendungen für das Training und Testen aus. Der Code ist öffentlich zugänglich unter https://github.com/HuiChen24/NER-GRN.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
GRN: Gated Relation Network zur Verbesserung von Faltungsneuronalen Netzen für die Erkennung benannter Entitäten | Paper | HyperAI