HyperAIHyperAI

Command Palette

Search for a command to run...

vor 4 Monaten

Verbesserte differenzierbare Architektursuche für Sprachmodellierung und benannte Entitätserkennung

{Yufan Jiang Tong Xiao Chunliang Zhang Chi Hu Jingbo Zhu}

Verbesserte differenzierbare Architektursuche für Sprachmodellierung und benannte Entitätserkennung

Abstract

In diesem Paper untersuchen wir differentiable Neural Architecture Search (NAS)-Methoden für die Verarbeitung natürlicher Sprache. Insbesondere verbessern wir differentiable Architektursuche, indem wir die Softmax-Local-Beschränkung entfernen. Zudem wenden wir differentiable NAS auf die Erkennung benannter Entitäten (Named Entity Recognition, NER) an. Dies ist das erste Mal, dass differentiable NAS-Methoden in NLP-Aufgaben außerhalb der Sprachmodellierung eingesetzt werden. Auf beiden Datensätzen – PTB für Sprachmodellierung und CoNLL-2003 für englische NER – übertrifft unsere Methode starke Baselines und erreicht eine neue State-of-the-Art-Leistung auf der NER-Aufgabe.

Benchmarks

BenchmarkMethodikMetriken
language-modelling-on-ptbI-DARTS
PPL: 56.0
named-entity-recognition-ner-on-conll-2003I-DARTS + Flair
F1: 93.47

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Verbesserte differenzierbare Architektursuche für Sprachmodellierung und benannte Entitätserkennung | Forschungsarbeiten | HyperAI