事前学習済み言語モデル（PLM）から高品質な文埋め込みを取得するためには、追加の事前学習目的を導入するか、大量のラベル付きテキストペアデータセット上で微調整（fine-tuning）を行う必要がある。後者のアプローチは一般的に前者を上回る性能を発揮するが、十分な規模の適切なデータセットを構築するには多大な人的労力が要される。本論文では、ラベル付きデータや微調整、あるいは事前学習目的の変更を一切行わずに、高品質な文埋め込みを獲得する方法を提示する。具体的には、大規模かつ高性能なPLMの生成能力を活用し、完全に新規にラベル付きテキストペアのデータセットを生成し、そのデータセットを用いてより小型かつ効率的なモデルを微調整する。本研究で提案する完全に教師なしのアプローチは、複数の意味的テキスト類似性データセットにおいて、強力なベースラインを上回る性能を達成した。