HyperAIHyperAI

Command Palette

Search for a command to run...

Dial-MAE: コンテクストマスクオートエンコーダーによる検索型対話システム

Zhenpeng Su Xing Wu Wei Zhou Guangyuan Ma Songlin Hu

概要

対話応答選択は、与えられたユーザーとシステムの発話履歴に基づいて適切な応答を複数の候補から選択することを目指しています。既存の多くの研究は、クロスエンコーダー向けのポストトレーニングやファインチューニングに主に焦点を当てています。しかし、対話応答選択におけるディープエンコーダー向けのポストトレーニング手法は存在していません。私たちは、現在の言語モデル(例えば BERT などのディープ対話システムを基にしたモデル)がディープエンコーダーとして使用される場合、対話コンテキストと応答を別々にエンコードするため、両者の表現の整合性を達成するのが困難であると考えています。そこで、Dial-MAE(Dialogue Contextual Masking Auto-Encoder)というシンプルかつ効果的なポストトレーニング技術を提案します。Dial-MAE は非対称的なエンコーダー-デコーダー構造を使用し、対話の意味論的内容を稠密ベクトルに圧縮することで、対話コンテキストと応答の特徴量間でより良い整合性を実現します。私たちの実験結果は、Dial-MAE が非常に効果的であり、2つの一般的なベンチマークにおいて最先端の性能を達成していることを示しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています