Command Palette
Search for a command to run...
Soyeong Jeong Aparna Elangovan Emine Yilmaz Oleg Rokhlenko

要約
大規模言語モデル(LLMs)は、人間らしい応答を生成することで、対話システムにおいて顕著な成果を上げている。しかし、個別化や特定の知識を考慮する必要がある場面では、その性能が十分に発揮されないことがある。実際の利用状況では、ユーザーがこれらの誤りを自ら検出し、新たな応答を要求するという方法は現実的ではない。この問題に対処する一つの手法として、ユーザーに返す前に応答を精査・改善する方法がある。既存のアプローチは、単一のLLM内で応答を精査することに焦点を当てているが、これでは効果的な対話に必要な多様な側面を十分に捉えることが難しい。本研究では、マルチエージェントフレームワークを用いた応答の精査手法を提案する。各エージェントには、対話品質における特定の側面に対応する役割を割り当てる。特に、事実性(factuality)、個別化(personalization)、一貫性(coherence)の3つの重要な側面に注目し、それぞれのエージェントがこれらのうち一つの側面についてレビューおよび改善を行う。各エージェントのフィードバックは統合され、全体的な応答品質を向上させる。さらに、エージェント間の協調性を高めるために、動的な通信戦略を導入する。固定されたエージェントの順序に従うのではなく、各クエリの具体的な要件に基づいて、適切なエージェントを動的に選択・調整する。本フレームワークは、困難な対話データセット上で検証され、特に知識やユーザーの人物像(persona)に関するタスク、あるいはその両方を含むタスクにおいて、既存のベースラインを顕著に上回ることを示した。