AbstRaL：強化学習でLLMの抽象的推論力を高め、GSMベンチマークでの堅実性を向上 この研究では、AppleとEPFLの研究チームがAbstRaLという手法を提案しています。AbstRaLは、LLM（大規模言語モデル）が問題の表面的な詳細に頼らず、抽象的な推論パターンを理解するための方法です。この手法は、強化学習を用いてモデルが問題の根本的な構造を学習し、シンボリックツールと連携することで、より信頼性の高い問題解決を可能にします。GSMベンチマークでの評価では、AbstRaLが特に入力の変更や余計な情報の追加に対して堅実性を大幅に向上させていることが示されています。

AbstRaL: 大规模言語モデル（LLM）の抽象的思考を強化学習で教育し、GSMベンチマークでの堅牢性を向上 最近の研究では、特に小さな規模の言語モデル（LLM）が堅牢な推論に苦戦することが示されています。これらは馴染みのある問題には良好なパフォーマンスを発揮しますが、名前や数値を稍微変更したり、関連性があるが本質ではない情報を追加した場合、その性能が大幅に低下します。この弱点は「分布外（OOD）一般化能力の低さ」と呼ばれ、単純な数学問題でも精度が顕著に下がることがあります。これに対処するために注目されるのは、推論問題の変種を作成し、モデルが表面的な詳細に頼らず根本的なロジックを学ぶことです。推論力をこのように強化することで、より一般的で信頼性の高いAIシステムの開発が期待されます。 抽象的な言語モデル推論の失敗を解剖 LLMは印象的な推論能力を示していますが、文の言い回し、数値、または雑音の導入などの分布変動にさらされるとしばしば転倒します。この脆弱性は論理、数学、常識推論のベンチマークにおいて明らかになっており、これまでの解決策はモデルに多様な入力に触れるためのデータ拡張に依存してきました。ただし、これは計算コストを増大させます。研究では、抽象的思考（abstraction-of-thought）や段階的抽象化（chain-of-abstraction）の形式、そして段階的思考（chain-of-thought）や木構造思考（tree-of-thought）などの計画手法が探索されています。これらはパターンの記憶以上に推論スキルの開発を支援します。 AbstRaLによる抽象的シンボリック推論の改善 AppleとEPFLの研究者たちが提案したAbstRaLは、LLMが表面的な詳細に頼るのではなく抽象的な推論パターンを理解できるようにする方法です。多くのバリエーションの訓練データを生成する代わりに、強化学習を用いて推論問題の根本的な構造を学習します。この方法により、抽象的なパターンをシンボリックツールと結びつけてより信頼性の高い問題解決が可能にされます。GSMベンチマークで検証されたAbstRaLは、特に入力の変化や雑音情報に対する堅牢性を大幅に向上させ、教師あり学習のみで訓練されたモデルよりも優れています。より一致した文脈に依存しない推論を促進します。 AbstRaLの四ステップ・フレームワーク AbstRaLは、モデルに抽象的な思考方法を教え、表面的なパターンに依存するのを避けるための四つのステップから構成されています。まず、問題の主要な変数をシンボリックなプレースホルダーに置き換えます。次に、特別に設計されたデータセット（GranulAR）を使用して、モデルがこれらの抽象シンボルを用いてステップバイステップで推論できるように学習させます。その後、シンボルから一般的な推論構造（抽象化）を抽出します。最後に、この抽象化と元の値を組み合わせて正しい答えを計算します。正解率とシンボリック類似性の2つの報酬を使用した強化学習が、モデルの正確かつ文脈に依存しない推論パターンを生成する能力を更に向上させます。 GSM8Kの変種問題でAbstRaLの堅牢性を示す 研究グループは、数値、名前、言い回しを変更したGSM8Kの問題を使用してAbstRaLの堅牢性を評価しました。変更後の問題に小規模モデル（Llama-3、Qwen2）を訓練し、GranulARデータセットを用いて問題を抽象的なシンボル形式に書き換え、モデルが構造に焦点を当てるようサポートします。結果として、AbstRaLは標準的なチェーン・オブ・ ThoughtsプロンプトBaselineよりも一貫性が高く、精度の低下も少ないことが確認されました。特に、小規模モデルの再表現された入力に対する信頼性が向上しています。これは、モデルに抽象的な思考方法を学ばせることで、適応性が向上し、記憶したパターンに過度に依存しなくなることを示唆しています。 AbstRaLの手法は、直接的な監修に依存せず、強化学習を活用することで抽象的な考え方を学ばせるという点で画期的です。AbstRaLによって、各モデルは表面的な情報ではなく、根本的なロジックに注目し、シンボリックツールとの連携を高めることができます。今回の研究では、分布変更の下でモデルの性能低下を大幅に抑制することが確認され、特に小規模モデルで優れた効果が得られました。 AppleとEPFLの研究者のコメントによれば、「AbstRaLは、モデルが表面的な特徴に頼らず、問題の根本的な構造に着目する能力を飛躍的に向上させます。これにより、実際の应用场景での信頼性が大幅に向上する可能性があります。」また、AppleはAI研究の最前線で常に新たな手法を模索し、革新的なテクノロジーの開発を進めている世界的IT企業です。