ProtoReasoning: プロトタイプを基盤とするLLMにおける一般化可能な推論

最近の長鎖思考（Long Chain-of-Thought, Long CoT）による大規模推論モデル（Large Reasoning Models, LRMs）の訓練における進展は、著しいクロスドメイン一般化能力を示しています。しかし、そのような転移を支える基礎的なメカニズムについてはまだ十分に理解されていません。我々は、クロスドメイン一般化が共有された抽象的な推論プロトタイプ——問題の本質をドメインを超えて捉える基本的な推論パターン——から生じると仮説を立てています。これらのプロトタイプは表現の微細な違いを最小限に抑え、見かけ上異なるタスクが共有される推論構造に基づいていることを明らかにします。この仮説に基づいて、我々はProtoReasoningというフレームワークを提案します。ProtoReasoningは、スケーラブルで検証可能なプロトタイプ表現（論理推論にはProlog、計画にはPDDLを使用）を利用してLLMsの推論能力を向上させるものです。ProtoReasoningの特徴は以下の通りです：(1) 問題を対応するプロトタイプ表現に変換する自動化されたプロトタイプ構築パイプライン；(2) Prolog/PDDLインタプリタを通じて信頼性のあるフィードバックを提供する包括的な検証システム；(3) プロトタイプ空間内で任意の問題を合成し、正しさを確保するスケーラビリティ。広範な実験結果によれば、ProtoReasoningは基準モデルに対して論理推論（Enigmata-Eval）で4.7%、計画タスクで6.3%、一般的な推論（MMLU）で4.0%、数学（AIME24）で1.0%の改善を達成しています。特に、我々のアブレーション研究では、自然言語表現のみでの学習と比較してプロトタイプ空間での学習が構造的に類似した問題に対する一般化能力が向上することも確認され、大規模言語モデルにおける一般化可能な推論の基礎として推論プロトタイプが機能するとする我々の仮説が裏付けられています。