18日前

Transformerモデルを用いた語義の意味あいまいさ解消

{Ron Daniel Jr., Tony Scerri, Pierre-Yves Vandenbussche}
Transformerモデルを用いた語義の意味あいまいさ解消
要約

本稿では、語義解釈(Word Sense Disambiguation, WSD)というタスクに取り組む。我々は、IJCAI 2020にて開催されたSemDeepワークショップの一環として実施された「Word-in-Context Target Sense Verification」チャレンジに提出したシステムについて報告する(Breit他、2020)。このチャレンジでは、テキスト内の特定の語の出現が、あらかじめ定義された語義と一致するかどうかを予測することを求める。我々のアプローチは、BERTをはじめとする事前学習済みTransformerモデルを用い、さまざまなアーキテクチャ戦略に基づいてタスクに微調整するものである。その結果、サブタスク1(文脈における目的語が指定された語義に対応しているかどうかを、定義を活用して判断する)において、最も高い正確性(accuracy)および適合率(precision)を達成した。本チャレンジを通じて検討した戦略は、他の自然言語処理タスクにも応用可能であると考えられる。