HyperAIHyperAI

Command Palette

Search for a command to run...

TENER: Anpassung des Transformer-Encoders für die Benennung von Entitäten

Hang Yan Bocao Deng Xiaonan Li Xipeng Qiu

Zusammenfassung

Bidirektionale Long Short-Term Memory-Netzwerke (BiLSTM) werden weithin als Encoder in Modellen eingesetzt, die die Aufgabe der benannten Entitätserkennung (Named Entity Recognition, NER) bearbeiten. Kürzlich wird der Transformer aufgrund seiner Parallelisierbarkeit und herausragenden Leistungsfähigkeit in zahlreichen Aufgaben des Natural Language Processing (NLP) breit eingesetzt. Dennoch erzielt der Transformer in der NER-Aufgabe keine so gute Leistung wie in anderen NLP-Aufgaben. In diesem Artikel stellen wir TENER vor, eine NER-Architektur, die einen angepassten Transformer-Encoder zur Modellierung von zeichenbasierten und wortbasierten Merkmalen nutzt. Durch die Integration von richtungs- und relativer Distanzberücksichtigender Aufmerksamkeit sowie unskalierter Aufmerksamkeit zeigen wir, dass ein Transformer-ähnlicher Encoder für die NER-Aufgabe genauso effektiv ist wie für andere NLP-Aufgaben.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp