Lufan Chang

要約

大規模言語モデル（LLM）は、しばしば真正の創造的アイデアを生成するのに苦労しており、通常は学習データの「重力井戸」内にある高確率で馴染み深い概念に依存してしまいます。Tree of Thoughts（ToT）のような高度な探索ベースの手法はこの問題を軽減しようとしていますが、探索を導くために無原則かつ一貫性の欠ける自己評価ヒューリスティクスに依存している点で、根本的な制限を抱えています。この課題に対処するため、本研究では「マゼラン（Magellan）」と名付けた新規フレームワークを提案します。マゼランは、LLMの潜在的意味空間における原理的で誘導された探索として、創造的生成を再定式化しています。本フレームワークの核となるのは、階層的誘導システムによって制御されたモンテカルロ木探索（MCTS）です。長距離の探索方向を定めるために、「意味的コンパス」としてのベクトルを、直交射影を用いて定式化し、関連性のある新規性へと探索を誘導します。一方、局所的な段階的決定には、自己評価の欠陥を補うために、内在的整合性、外在的新規性、物語の進行性のバランスを明示的な報酬構造で評価する「地形に配慮した価値関数」を導入します。広範な実験により、マゼランがReActやToTといった強力なベースラインを大きく上回り、より妥当性と新規性に優れた科学的アイデアを生成できることを示しました。本研究は、創造的発見において、無制限な自律性よりも原理的で誘導された探索がより効果的であることを示しており、LLMがイノベーションの実践的パートナーとしてより高度な役割を果たす道を開くものと期待されます。