多様性と関連性の共同最適化におけるニューラル応答生成

最近のニューラル会話モデルは大きな可能性を示していますが、しばしば単調で一般的な応答を生成する傾向があります。会話モデルの出力を多様化するために様々な手法が探究されてきましたが、その改善はしばしば関連性の低下を伴います。本論文では、多様性と関連性を同時最適化するSpaceFusionモデルを提案します。このモデルは、シーケンス・ツー・シーケンスモデルとオートエンコーダーモデルの潜在空間を新しい正則化項を活用して融合させることで実現します。その結果、予測応答ベクトルからの距離と方向がそれぞれ関連性と多様性に大まかに対応する潜在空間が誘導されます。この特性により、潜在空間の直感的な可視化も容易になります。自動評価および人間評価の結果は、提案手法が強力な基準モデルに対して多様性と関連性の両面で有意な改善をもたらすことを示しています。