Uni-Encoder：一种快速准确的生成式对话系统响应选择范式

采样与排序（Sample-and-rank）是现代生成式对话系统中的一种关键解码策略。通过从一组生成的候选答案中选择一个回答，该策略有助于实现多样性和高质量的响应。目前最先进的排名方法主要采用一种称为交叉编码器（Cross-Encoder）的编码范式，该范式分别对每个上下文-候选对进行编码，并根据其适应度分数对候选答案进行排序。然而，交叉编码器为每个候选答案重复编码相同的长上下文，导致计算成本较高。多头编码器（Poly-Encoder）通过减少上下文与候选答案之间的交互来解决上述问题，但性能有所下降。在本研究中，我们开发了一种新的范式——统一编码器（Uni-Encoder），它在仅对上下文进行一次编码的同时，保持了与交叉编码器相同的每对全注意力机制。统一编码器在一个前向传递过程中对所有候选答案进行编码。为了确保所有候选答案得到平等对待，我们为所有候选答案使用相同的 positional embedding，并设计了一种新的注意力机制以避免混淆。我们的统一编码器可以通过不同的注意力和响应拼接方法模拟其他排名范式。广泛的实验表明，我们提出的范式在四个基准数据集上实现了新的最先进结果，并且具有较高的计算效率。例如，在 Ubuntu V2 数据集上，它将 R10@1 指标提高了 2.9%，同时推理速度大约提高了 4 倍。