WISEの幻覚戦闘技術

WISE (Wisdom for Hallucination Mitigation) テクノロジーは、2024 年に浙江大学によって提案されました。これは、大規模な言語モデルにおける幻覚と闘い、モデルの知識記憶編集機能を向上させることを目的としています。関連する論文結果は「WISE: 大規模な言語モデルの生涯にわたるモデル編集のための知識記憶を再考する」がNeurIPS (2024 Conference on Neural Information Processing Systems) に採択されました。

このテクノロジーの核心は、人間の脳の左半球と右半球の間でのさまざまなタスクの分業を模倣するデュアルパラメーター記憶メカニズムにあります。 WISEは、メインメモリを通じて事前に訓練された知識を保存し、編集された知識を特別に保存するためのサイドメモリを導入します。このサイドメモリは、長期記憶の一般化能力と検索ベースの作業を組み合わせた一種の中期記憶とみなすことができます。記憶力と局所性。

継続的な編集のために、研究チームは、編集されたコンテンツの異なるグループがパラメータの異なるサブスペースに保存され、その後競合することなく共有メモリにマージできる知識シャーディング メカニズムを設計しました。広範な実験により、WISE は以前のモデル編集方法を超え、質問応答、幻覚除去、および GPT などの一般的な大規模言語モデル アーキテクチャの配布外状況を処理する生涯にわたるモデル編集における不可能な三角形問題を克服できることが示されています。 LLaMA、ミストラル。