大規模言語モデルにおける知識編集に関する包括的研究

大規模言語モデル（LLMs）は、人間のコミュニケーションに類似したテキストの理解および生成という驚異的な能力を示している。しかし、そのパラメータ数が膨大であることに起因する、トレーニング過程における著しい計算リソースの要求という主な制約が存在する。この課題は、世界の動的な性質に伴い、モデルが古くなった情報の修正や新たな知識の統合を頻繁に行う必要があることによってさらに顕在化している。これにより、モデルの持続的な関連性を確保する必要がある。なお、多くの応用において、トレーニング後の継続的なモデル調整が、欠陥や望ましくない行動の是正のために不可欠である。このような背景から、リアルタイムでの軽量かつ効率的なモデル修正手法への関心が高まっている。こうした流れの中で、近年、特定のドメインにおけるLLMの行動を効率的に変更しつつ、さまざまな入力に対して全体的な性能を維持するという目的をもつ「知識編集（knowledge editing）」技術が急速に発展している。本論文では、まず知識編集の問題を定式化した上で、最先端のアプローチを包括的にレビューする。教育学および認知科学研究の理論に着想を得て、知識編集手法を以下の三つのカテゴリーに統一的に分類する基準を提案する：外部知識の活用、知識のモデル内への統合、内在知識の編集。さらに、代表的な知識編集手法を包括的に実証評価できる新たなベンチマーク「KnowEdit」を導入する。また、モデル内の知識がどのように配置されているかに関する深い分析を行い、LLM内に内在する知識構造の理解を深める。最後に、知識編集の潜在的な応用領域について検討し、その広範かつ大きな影響力について述べる。