ユニエンコーダー：生成型対話システムのための高速かつ正確な応答選択パラダイム

サンプル・アンド・ランクは、現代の生成型対話システムにおける重要なデコーディング戦略です。この手法は、生成された候補の中から答えを選択することで、多様で高品質な応答を実現します。現在の最先端のランキング方法は主にクロスエンコーダーと呼ばれるエンコーディングパラダイムを使用しており、各コンテキスト-候補ペアを個別にエンコードし、適合度スコアに基づいて候補をランキングします。しかし、クロスエンコーダーは各候補に対して同じ長いコンテキストを繰り返しエンコードするため、計算コストが高くなります。ポリエンコーダーはコンテキストと候補との相互作用を減らすことで上記の問題に対処しますが、性能低下の代償があります。本研究では、クロスエンコーダーのように各ペアに対して完全な注意を維持しながらも、ポリエンコーダーのようにコンテキストを一度だけエンコードする新しいパラダイムであるユニエンコーダーを開発しました。ユニエンコーダーは一回の順方向パスで全ての候補をコンテキストとともにエンコードします。全ての候補に対して同一の位置埋め込みを使用することで公平な扱いを確保し、新たな注意メカニズムを設計して混乱を避けています。我々のユニエンコーダーは異なる注意と応答連結手法を使用することで他のランキングパラダイムをシミュレートすることができます。広範な実験結果から、提案したパラダイムは4つのベンチマークデータセットにおいて高い計算効率性を持つ新規の最先端結果を達成することが示されました。例えば、Ubuntu V2データセットではR10@1が2.9%向上し、推論速度も約4倍高速化されました。