Verbesserte differenzierbare Architektursuche für Sprachmodellierung und benannte Entitätserkennung

In diesem Paper untersuchen wir differentiable Neural Architecture Search (NAS)-Methoden für die Verarbeitung natürlicher Sprache. Insbesondere verbessern wir differentiable Architektursuche, indem wir die Softmax-Local-Beschränkung entfernen. Zudem wenden wir differentiable NAS auf die Erkennung benannter Entitäten (Named Entity Recognition, NER) an. Dies ist das erste Mal, dass differentiable NAS-Methoden in NLP-Aufgaben außerhalb der Sprachmodellierung eingesetzt werden. Auf beiden Datensätzen – PTB für Sprachmodellierung und CoNLL-2003 für englische NER – übertrifft unsere Methode starke Baselines und erreicht eine neue State-of-the-Art-Leistung auf der NER-Aufgabe.