要約
BERT (Devlin et al., 2018) および RoBERTa (Liu et al., 2019) は、意味的テキスト類似度（STS）などの文ペア回帰タスクにおいて、新たな最先端の性能を達成しました。しかし、これらのモデルは両方の文をネットワークに投入する必要があるため、非常に大きな計算負荷が発生します。例えば、10,000文のコレクションから最も類似したペアを見つけるには、BERTを使用して約5,000万回の推論計算（約65時間）が必要です。BERTの構造は、意味的類似度検索やクラスタリングなどの非監督タスクには適していないため、これらの用途には不向きです。本論文では、事前学習されたBERTネットワークを改良し、双子ネットワークと三重ネットワークの構造を使用して意味的に有意な文埋め込みを導出する Sentence-BERT (SBERT) を提案します。これにより、最も類似したペアを見つける際の計算量が65時間から約5秒に大幅に削減されつつも、BERTの精度を維持することができます。また、SBERTおよびSRoBERTaについて一般的なSTSタスクと転移学習タスクで評価を行い、他の最先端の文埋め込み手法を上回る性能を示しています。