HyperAIHyperAI

Command Palette

Search for a command to run...

BERTは意味を成すか?コンテキスト付き埋め込みを用いた解釈可能な単語意味の解消

Gregor Wiedemann Steffen Remus Avi Chawla Chris Biemann

概要

文脈を考慮した単語埋め込み(CWE: Contextualized Word Embeddings)は、ELMo(Peters et al., 2018)、Flair NLP(Akbik et al., 2018)、BERT(Devlin et al., 2019)などのモデルによって提供される、自然言語処理(NLP)分野における近年の主要な革新である。CWEは、単語の文脈に応じてその意味的ベクトル表現を生成する。この手法は、テキスト分類、シーケンスタグ付け、機械翻訳などの複数のタスクにおいて、従来の静的単語埋め込みよりも優れた性能が示されている。同じ語形でも文脈によってベクトル表現が異なるため、CWEは自動的に語義の意味解釈(WSD: Word Sense Disambiguation)のモデルとして機能する。本研究では、CWEに対する最近傍分類を用いたシンプルかつ効果的なWSDアプローチを提案する。異なるCWEモデルの性能を比較し、標準的なWSDベンチマークデータセット2種類において、現在の最先端技術を上回る成果を報告する。さらに、事前学習済みのBERTモデルが多義語を埋め込み空間内の明確に分離された「意味領域」に配置できることを示した一方で、ELMoおよびFlair NLPはこの能力を有していないことが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています