8日前

ニュース主張に関するLLMベースの事実検証に向けて:階層的段階的プロンプト手法の提案

Xuan Zhang, Wei Gao
ニュース主張に関するLLMベースの事実検証に向けて:階層的段階的プロンプト手法の提案
要約

大規模な事前学習済み言語モデル(LLMs)は、さまざまな自然言語処理(NLP)タスクにおいて顕著な性能を示しているが、誤情報(misinformation)領域における活用はまだ十分に検討されていない。本研究では、文脈内学習(In-Context Learning: ICL)を用いたLLMsによるニュース主張の検証を検討し、4ショットの示例提示のみで、いくつかのプロンプティング手法が従来の教師ありモデルと同等の性能を達成できることを明らかにした。さらに性能を向上させるために、階層的段階的(Hierarchical Step-by-Step: HiSS)プロンプティング手法を提案する。この手法は、主張を複数の部分主張に分解し、その後、複数の質問・回答ステップを段階的に実行することで、それぞれの部分主張を検証するようにLLMsを誘導する。公開された2つの誤情報データセットを用いた実験結果から、HiSSプロンプティングが最先端の完全教師ありアプローチおよび強力な少サンプルICLベースのベースラインを上回ることが示された。

ニュース主張に関するLLMベースの事実検証に向けて:階層的段階的プロンプト手法の提案 | 最新論文 | HyperAI超神経