Hero-Gang neuronales Modell für die Erkennung benannter Entitäten

Die Erkennung benannter Entitäten (Named Entity Recognition, NER) ist eine grundlegende und wichtige Aufgabe in der natürlichen Sprachverarbeitung (NLP), die darauf abzielt, benannte Entitäten (NEs) aus freitextlichen Daten zu identifizieren. In jüngster Zeit haben Transformer-basierte Modelle aufgrund der multi-head-Attention-Mechanismen, die effektiv längere Kontextinformationen erfassen können, die dominierende Methode in diesem Bereich geworden und erzielen erhebliche Leistungsfortschritte. Leider sind diese Modelle weiterhin eingeschränkt hinsichtlich der Extraktion lokaler Merkmale und Positionsinformationen, was für die NER von entscheidender Bedeutung ist. Um diese Limitation zu überwinden, schlagen wir in diesem Artikel eine neuartige neuronale Struktur namens Hero-Gang-Netzwerk (HGN) vor, die aus einem Hero- und einem Gang-Modul besteht, um sowohl globale als auch lokale Informationen effektiv zu nutzen und die Leistung der NER zu verbessern. Speziell besteht das Hero-Modul aus einem Transformer-basierten Encoder, der die Vorteile des Selbst-Attention-Mechanismus bewahrt, während das Gang-Modul ein mehrfensterbasiertes rekurrentes Modul nutzt, um lokale Merkmale und Positionsdaten unter der Anleitung des Hero-Moduls zu extrahieren. Anschließend kombiniert das vorgeschlagene mehrfensterbasierte Attention-Verfahren effektiv globale Informationen und mehrere lokale Merkmale zur Vorhersage von Entitätslabels. Experimentelle Ergebnisse auf mehreren Benchmark-Datensätzen belegen die Wirksamkeit des vorgeschlagenen Modells.