Dial-MAE: コンテクストマスクオートエンコーダーによる検索型対話システム

対話応答選択は、与えられたユーザーとシステムの発話履歴に基づいて適切な応答を複数の候補から選択することを目指しています。既存の多くの研究は、クロスエンコーダー向けのポストトレーニングやファインチューニングに主に焦点を当てています。しかし、対話応答選択におけるディープエンコーダー向けのポストトレーニング手法は存在していません。私たちは、現在の言語モデル（例えば BERT などのディープ対話システムを基にしたモデル）がディープエンコーダーとして使用される場合、対話コンテキストと応答を別々にエンコードするため、両者の表現の整合性を達成するのが困難であると考えています。そこで、Dial-MAE（Dialogue Contextual Masking Auto-Encoder）というシンプルかつ効果的なポストトレーニング技術を提案します。Dial-MAE は非対称的なエンコーダー-デコーダー構造を使用し、対話の意味論的内容を稠密ベクトルに圧縮することで、対話コンテキストと応答の特徴量間でより良い整合性を実現します。私たちの実験結果は、Dial-MAE が非常に効果的であり、2つの一般的なベンチマークにおいて最先端の性能を達成していることを示しています。