近傍対照学習を用いた引用埋め込みによる科学文献表現

科学文書の表現学習は、対照的な学習目標を用いることで大幅に改善することができます。ただし、問題は望ましい類似性の意味論を符号化する肯定例と否定例の訓練サンプルを作成することにあります。従来の研究では、離散的な引用関係に基づいて対照サンプルを生成していました。しかし、離散的な引用は類似性に対して厳格なカットオフを強制し、これは類似性に基づく学習にとって非直感的であり、直接的な引用がなくても科学論文が非常に類似している可能性があるという事実を見落としています。これは関連研究を見つけ出す際の核心的な問題です。そこで、我々は引用グラフ埋め込みに対する制御された最近傍サンプリングを用いた対照学習を行います。この制御により、連続的な類似性を学習し、難易度の高い否定例と肯定例を選択することができるとともに、それら間での衝突をサンプリングマージンを制御することで回避できます。その結果、提案手法SciNCL（Science Nearest Contrastive Learning）はSciDocsベンチマークにおいて最先端技術を上回る性能を示しました。さらに、本手法はサンプル効率的にモデルの訓練（または微調整）を行うことができることを示し、最近の訓練効率的な手法と組み合わせることも可能です。意外にも、一般領域言語モデルをこの方法で訓練した場合でも、ドメイン内事前学習済みのベースラインを超える性能が得られました。