Verbesserte differenzierbare Architektursuche für Sprachmodellierung und benannte Entitätserkennung
{Yufan Jiang Tong Xiao Chunliang Zhang Chi Hu Jingbo Zhu}

Abstract
In diesem Paper untersuchen wir differentiable Neural Architecture Search (NAS)-Methoden für die Verarbeitung natürlicher Sprache. Insbesondere verbessern wir differentiable Architektursuche, indem wir die Softmax-Local-Beschränkung entfernen. Zudem wenden wir differentiable NAS auf die Erkennung benannter Entitäten (Named Entity Recognition, NER) an. Dies ist das erste Mal, dass differentiable NAS-Methoden in NLP-Aufgaben außerhalb der Sprachmodellierung eingesetzt werden. Auf beiden Datensätzen – PTB für Sprachmodellierung und CoNLL-2003 für englische NER – übertrifft unsere Methode starke Baselines und erreicht eine neue State-of-the-Art-Leistung auf der NER-Aufgabe.
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| language-modelling-on-ptb | I-DARTS | PPL: 56.0 |
| named-entity-recognition-ner-on-conll-2003 | I-DARTS + Flair | F1: 93.47 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.