Command Palette

Search for a command to run...

4ヶ月前

言語モデリングおよび名前付きエンティティ認識のための改善された微分可能アーキテクチャ探索

{Yufan Jiang Tong Xiao Chunliang Zhang Chi Hu Jingbo Zhu}

言語モデリングおよび名前付きエンティティ認識のための改善された微分可能アーキテクチャ探索

要約

本稿では、自然言語処理(NLP)における微分可能なニューラルアーキテクチャ探索(NAS)手法を研究する。特に、softmax-局所制約(softmax-local constraint)を排除することで、微分可能なアーキテクチャ探索の性能を向上させた。また、微分可能なNASを命名エンティティ認識(NER)に適用した。これは、言語モデリング以外のNLPタスクに微分可能なNAS手法を導入した初の試みである。PTB言語モデリングおよびCoNLL-2003英語NERデータセットの両方において、本手法は強力なベースラインを上回り、NERタスクにおいて新たな最良性能(state-of-the-art)を達成した。

ベンチマーク

ベンチマーク方法論指標
language-modelling-on-ptbI-DARTS
PPL: 56.0
named-entity-recognition-ner-on-conll-2003I-DARTS + Flair
F1: 93.47

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
言語モデリングおよび名前付きエンティティ認識のための改善された微分可能アーキテクチャ探索 | 論文 | HyperAI超神経