3ヶ月前

語義解釈の長い尾部をグロス情報を活用したバイエンコーダーで進展させる

{Luke Zettlemoyer, Terra Blevins}
語義解釈の長い尾部をグロス情報を活用したバイエンコーダーで進展させる
要約

ワードセンスディスアムビグエーション(WSD)における主要な課題の一つは、語義が均一に分布していないことである。このため、従来のモデルは訓練中に出現しなかった、あるいは稀な語義に対して一般的に性能が劣る傾向にある。本研究では、(1)対象語とその周辺文脈を独立して埋め込み、(2)各語義に対応する辞書定義(グロス)を別々に埋め込む二重エンコーダー(bi-encoder)モデルを提案する。これらのエンコーダーは同一の表現空間内で共同最適化され、対象語の埋め込みに対して最も近い語義埋め込みを探索することで、語義の判別を実現する。本システムは英語全語種WSDにおいて、従来の最先端モデルを上回る性能を達成した。特に稀な語義に対する性能向上が主な要因であり、前例に比べて頻度の低い語義における誤差を31.1%削減した。この結果は、語義の定義を適切にモデル化することで、稀な語義の判別がより効果的に行えることを示している。

語義解釈の長い尾部をグロス情報を活用したバイエンコーダーで進展させる | 論文 | HyperAI超神経