HyperAIHyperAI

Command Palette

Search for a command to run...

ユニエンコーダー:生成型対話システムのための高速かつ正確な応答選択パラダイム

Chiyu Song∗1,2 Hongliang He∗1,2 Haofei Yu3 Pengfei Fang4,2 Leyang Cui5 Zhenzhong Lan†2

概要

サンプル・アンド・ランクは、現代の生成型対話システムにおける重要なデコーディング戦略です。この手法は、生成された候補の中から答えを選択することで、多様で高品質な応答を実現します。現在の最先端のランキング方法は主にクロスエンコーダーと呼ばれるエンコーディングパラダイムを使用しており、各コンテキスト-候補ペアを個別にエンコードし、適合度スコアに基づいて候補をランキングします。しかし、クロスエンコーダーは各候補に対して同じ長いコンテキストを繰り返しエンコードするため、計算コストが高くなります。ポリエンコーダーはコンテキストと候補との相互作用を減らすことで上記の問題に対処しますが、性能低下の代償があります。本研究では、クロスエンコーダーのように各ペアに対して完全な注意を維持しながらも、ポリエンコーダーのようにコンテキストを一度だけエンコードする新しいパラダイムであるユニエンコーダーを開発しました。ユニエンコーダーは一回の順方向パスで全ての候補をコンテキストとともにエンコードします。全ての候補に対して同一の位置埋め込みを使用することで公平な扱いを確保し、新たな注意メカニズムを設計して混乱を避けています。我々のユニエンコーダーは異なる注意と応答連結手法を使用することで他のランキングパラダイムをシミュレートすることができます。広範な実験結果から、提案したパラダイムは4つのベンチマークデータセットにおいて高い計算効率性を持つ新規の最先端結果を達成することが示されました。例えば、Ubuntu V2データセットではR10@1が2.9%向上し、推論速度も約4倍高速化されました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ユニエンコーダー:生成型対話システムのための高速かつ正確な応答選択パラダイム | 記事 | HyperAI超神経