Command Palette

Search for a command to run...

4ヶ月前

より多くの文脈が得られるほど性能が向上する:包括的意味解釈に向けた文脈付き意味埋め込み

{Roberto Navigli Tommaso Pasini Bianca Scarlini}

より多くの文脈が得られるほど性能が向上する:包括的意味解釈に向けた文脈付き意味埋め込み

要約

文脈化単語埋め込み(contextualized word embeddings)は、自然言語処理における多数のタスクにおいて有効に活用されており、有用な意味情報が含まれていることが実証されている。しかし、それらを構造化された知識源と結びつけるのは依然として困難である。本論文では、語彙知識ベース内の語義に対して、文脈化単語ベクトルと比較可能な空間に位置する語義埋め込みを生成するための半教師あり手法であるARES(context-AwaRe Embeddings of Senses)を提案する。ARESによって得られる表現は、1近傍法(1 Nearest-Neighbour)という単純な手法を用いることで、英語における語義解釈(Word Sense Disambiguation)タスクだけでなく、多言語タスクにおいても最先端のモデルを上回る性能を発揮する。なお、これは英語のみの語義アノテーションデータでの学習に依拠している。さらに、文脈における単語認識(Word-in-Context)タスクにおいても、本研究の埋め込み表現の品質を評価した。外部知識源として利用した際、ニューラルモデルの性能が一貫して向上し、より複雑なアーキテクチャと競合する水準にまで達することが示された。WordNetのすべての概念に対するARES埋め込みおよび語義表現の生成に使用された自動抽出文脈は、すべてhttp://sensembert.org/aresにて無料で公開されている

ベンチマーク

ベンチマーク方法論指標
word-sense-disambiguation-on-supervisedARES
SemEval 2007: 71.0
SemEval 2013: 77.3
SemEval 2015: 83.2
Senseval 2: 78.0
Senseval 3: 77.1

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
より多くの文脈が得られるほど性能が向上する:包括的意味解釈に向けた文脈付き意味埋め込み | 論文 | HyperAI超神経