11日前

プロンプトベースの対照学習およびエネルギーに基づく学習を用いた、改善された汎用文ベクトル表現

Yuxin Jiang, Linhan Zhang, Wei Wang
プロンプトベースの対照学習およびエネルギーに基づく学習を用いた、改善された汎用文ベクトル表現
要約

対照学習(Contrastive learning)は、事前学習された言語モデル(PLM)の性能を向上させ、優れた汎用的な文埋め込み(sentence embeddings)を導出する手法として有効であることが示されている。しかし、既存の対照学習手法には依然として二つの限界がある。第一に、ドメインシフト(domain shift)の設定下では、従来の手法が劣った性能を示すことがあり、実用的な文表現の応用を阻害している。この低性能の原因を、数百万ものパラメータを持つPLMの過剰パラメータ化にあると捉え、これを緩和するため、我々は「PromCSE(Prompt-based Contrastive Learning for Sentence Embeddings)」を提案する。本手法は、PLMを固定したまま、小規模な「ソフトプロンプト(Soft Prompt)」(すなわち、学習可能なベクトルの集合)のみを訓練することで、モデルのパラメータ量を大幅に削減する。第二に、対照学習で一般的に用いられるNT-Xent損失関数は、教師あり学習設定におけるハードネガティブサンプル(hard negatives)を十分に活用できていない。この問題に対処するため、NT-Xent損失とエネルギーに基づく学習(Energy-based Learning)枠組みとの関係性に着目し、エネルギーに基づくハング損失(Hinge loss)を導入することで、ペアワイズな識別力を強化する手法を提案する。7つの標準的な意味的テキスト類似度(STS)タスクおよびドメインシフトを考慮したSTSタスクにおける実証実験の結果から、本手法は現在の最先端の文埋め込みモデルと比較して優れた性能を示した。本研究のコードは、https://github.com/YJiangcm/PromCSE にて公開されている。

プロンプトベースの対照学習およびエネルギーに基づく学習を用いた、改善された汎用文ベクトル表現 | 最新論文 | HyperAI超神経