言語モデリングおよび名前付きエンティティ認識のための改善された微分可能アーキテクチャ探索

本稿では、自然言語処理（NLP）における微分可能なニューラルアーキテクチャ探索（NAS）手法を研究する。特に、softmax-局所制約（softmax-local constraint）を排除することで、微分可能なアーキテクチャ探索の性能を向上させた。また、微分可能なNASを命名エンティティ認識（NER）に適用した。これは、言語モデリング以外のNLPタスクに微分可能なNAS手法を導入した初の試みである。PTB言語モデリングおよびCoNLL-2003英語NERデータセットの両方において、本手法は強力なベースラインを上回り、NERタスクにおいて新たな最良性能（state-of-the-art）を達成した。