最近の短文クラスタリングのための手法は、転移学習のコンポーネントとして単語埋め込みを頻繁に利用しています。本論文では、Transformerから得られる文ベクトル表現と異なるクラスタリング手法を組み合わせることで、このタスクに対処できることが示されています。さらに、反復的な分類を用いたクラスタリング強化アルゴリズムが、事前学習済みのTransformer言語モデルを含む異なる分類器を使用することで、初期のクラスタリング性能を更に向上させることができることが示されています。