17日前

コラボラティブな役割情報付きLLMベースエージェントを用いたステークホルダー認識

Xiaochong Lan, Chen Gao, Depeng Jin, Yong Li
コラボラティブな役割情報付きLLMベースエージェントを用いたステークホルダー認識
要約

ステークス検出(stance detection)は、テキストにおける特定の対象に対する立場を自動的に識別する技術であり、ウェブおよびソーシャルメディア研究におけるコンテンツ分析において極めて重要である。しかし、大規模言語モデル(LLM)を直接ステークス検出に適用しても、いくつかの課題が存在する。第一に、ステークス検出には多面的な知識が求められる。具体には、イベント関連用語の解釈から、ソーシャルメディアプラットフォームにおける表現スタイルの理解まで、広範な領域の知識が必要となる。第二に、著者の内面的な見解を推論する高度な推論能力が不可欠である。なぜなら、ステークスはしばしば明示的に述べられているのではなく、文書中に微妙に埋め込まれているからである。これらの課題に対処するため、本研究では、LLMに異なる役割を割り当て、協調的なシステムを構築する三段階フレームワーク「COLA(Collaborative rOle-infused LLM-based Agents)」を提案する。まず、多次元テキスト分析段階では、LLMを「言語専門家」「分野専門家」「ソーシャルメディア経験者」という三つの異なる役割に割り当て、テキストに対する多角的な分析を実現することで、第一の課題を克服する。次に、推論強化型ディベート段階では、各潜在的なステークスに対して、それに主張を担当させる特定のLLMベースエージェントを配置し、テキストの特徴とステークスの間の論理的関係を検出するよう誘導することで、第二の課題に対処する。最後に、ステークス結論段階では、前段階の洞察を統合し、最終的なステークスを決定する「最終意思決定エージェント」が機能する。本手法は、追加のラベル付きデータやモデルの再学習を必要とせず、高い実用性を備えている。複数のデータセットにおいて、最先端の性能を達成した。アブレーションスタディにより、各役割の設計がステークス検出の実現に有効であることが確認された。さらに、追加の実験を通じて、本手法の説明可能性(explainability)と汎用性(versatility)の高さが実証された。本アプローチは、実用性、正確性、有効性、説明可能性、汎用性のすべてにおいて優れた性能を発揮し、その価値が顕著に示された。

コラボラティブな役割情報付きLLMベースエージェントを用いたステークホルダー認識 | 最新論文 | HyperAI超神経