DiffCSE：文ベクトルに対する差分に基づく対照学習

我々は、文埋め込み（sentence embeddings）を学習するための非教師あり対照学習フレームワークであるDiffCSEを提案する。DiffCSEは、元の文と編集された文の違いに敏感な文埋め込みを学習する。ここで編集された文は、元の文に対して確率的にトークンをマスク（マスキング）した後、マスク言語モデルからサンプリングすることで得られる。本研究では、DiffCSEがDangovskiら（2021）が提唱した不変対照学習（equivariant contrastive learning）の一例であることを示す。このアプローチは従来の対照学習を一般化し、特定のタイプのデータ拡張（augmentation）に対して不変な表現を学習するとともに、他方で「有害な」（harmful）とされる種類の拡張に対しては敏感な表現を学習する。実験結果から、DiffCSEは非教師あり文表現学習手法において最良の性能を達成し、意味的テキスト類似性（semantic textual similarity）タスクにおいて、非教師ありSimCSEを2.3ポイントの絶対値で上回ることが明らかになった。