コンテキスト・ツー・ベクトルとグラフ・リトフィットを用いた単語埋め込みの改善

大規模事前学習モデルから生成される文脈依存の埋め込みが多くのタスクで優れた性能を発揮しているにもかかわらず、従来の静的な埋め込み（例：Skip-gram、Word2Vec）は計算コストの低さ、展開の容易さ、および安定性により、リソースが限られている環境や軽量な設定において依然として重要な役割を果たしています。本論文では、以下の2つの方法を通じて単語埋め込みを改善することを目指します。1) 既存の大規模事前学習モデルからより多くの文脈情報をSkip-gramフレームワークに取り入れる方法（Context-to-Vecと呼ぶ）；2) 事前に得られた同義語知識と重み付けベクトル分布を使用して訓練に依存しない静的埋め込みの後処理リファインメント手法を提案する方法です。外部評価と内部評価の両方のタスクを通じて、当手法はベースラインに対して大幅に優れていることが証明されています。