深層事前学習双方向トランスフォーマーの使用は、多くの応用分野で著しい進歩をもたらしました（Devlinら, 2018）。シーケンス間のペアワイズ比較を行うタスクや、与えられた入力と対応するラベルをマッチングするタスクでは、クロスエンコーダとバイエンコーダの2つのアプローチが一般的です。前者はしばしばより優れた性能を示しますが、実用的な速度にはなりません。本研究では、グローバルな自己注意特徴量を学習する新しいトランスフォーマー構造であるポリエンコーダを開発しました。3つの手法すべてについて詳細な比較を行い、最適な事前学習および微調整戦略についても検討しました。我々のモデルは既存の3つのタスクにおいて最先端の結果を達成し、ポリエンコーダはクロスエンコーダよりも高速で、バイエンコーダよりも正確であることを示しました。また、下流タスクに類似した大規模データセットでの事前学習によって最高の結果が得られることも確認しました。