
大規模言語モデル(LLM)は推論中に知識と推論の両方を活用するが、それらを区別する能力はモデル分析、解釈性、および開発において重要な役割を果たす。双系統認知理論(dual-system cognitive theory)をインスピレーションとして、我々は知識と推論の寄与を分離するための認知属性枠組み(cognition attribution framework)を提案する。特に、LLMの認知は知識取得(第1段階)と推論調整(第2段階)という2つの別々だが補完的なフェーズに分解される。これらのフェーズを分離するために、LLMは「速い思考」と「遅い思考」という2つの異なる認知モードで答えを生成するようプロンプトされる。異なる認知モードにおける性能を分析することで、知識と推論の寄与を定量化する。この枠組みは、3つのデータセットにまたがる15のLLMに適用された。結果は以下の通りである:(1)推論調整はドメイン固有のものであり、推論が要求されるドメイン(例えば数学、物理、化学)には利益をもたらすが、知識が要求されるドメインでは逆に悪影響を及ぼす可能性がある。(2)パラメータスケーリングにより知識と推論の両方が向上するが、知識の向上がより顕著である。さらに、パラメータスケーリングによりLLMの推論が著しく慎重になる一方、知性はやや向上する。(3)知識はネットワークの下位層に主に存在し、推論は上位層で行われる。本枠組みはLLMの理解を「分離」の視点から可能にするだけでなく、スケーリング法則(scaling laws)、階層的知識編集(hierarchical knowledge editing)、および小規模モデルにおける推論の限界(limitations of small-model reasoning)といった既存の研究に対して新たな知見を提供する。