要約
単語埋め込みは、設計上、単語の意味の動的な性質をモデル化することができません。つまり、単語が潜在的に異なる意味に対応するという特性を捉えることが困難です。この制限を解決するために、意味や文脈化された埋め込みなどの専門的な意味表現手法が多数提案されています。しかし、このトピックに関する研究の人気にもかかわらず、単語の動的意味に特化した評価ベンチマークは非常に少ないのが現状です。本論文では、既存のモデルがスタンフォード文脈単語類似度（Stanford Contextual Word Similarity）という標準的な評価データセットの性能上限を超えていることを示し、その問題点を指摘します。適切なベンチマークの不足に対処するため、私たちは専門家によってキュレーションされたアノテーションに基づく大規模な文脈感応型表現の汎用評価用データセットである「Word in Context」（WiC）を提案します。WiC は https://pilehvar.github.io/wic/ で公開されています。