小規模な言語モデル（LM）が複雑な推論タスクをこなすのは難しいが、MITの研究チームがこれを実現する新たなアプローチを開発した。同チームは、大規模モデル（LLM）が戦略を立案し、それを小規模モデルに分割して実行させる「協調型フレームワーク」を構築。このシステムの名称は「DisCIPL」（Distributional Constraints by Inference Programming with Language Models）。実験では、GPT-4oを「プランナー」として使い、Metaの小規模モデル「Llama-3.2-1B」を複数の「フォロワー」として配置。各フォロワーは特定の部分（例：1行の詩の1単語）を生成し、プランナーが統合・修正することで、正確で制約を満たした出力を得た。 DisCIPLの特徴は、制約を明示的にコード化できる「LLaMPPL」というプログラミング言語を活用すること。たとえば「18語の文章で4番目の語が‘Glasgow’、8番目が‘in’、11番目が‘and’」といったルールをコードで表現し、小規模モデルに指示を出す。これにより、従来のLLMが苦手とする制約付き生成（例：予算付き買い物リスト、旅行計画、論文の文字数制限）でも、精度と一貫性を高められる。 実験結果では、DisCIPLはOpenAIのトップ推論モデル「o1」と同等の精度を達成しながら、推論の長さを40.1％短縮、コストを80.2％削減。小規模モデルの使用により、1回の処理あたりのコストは1,000～10,000倍安くなる。また、GPT-4o単体や小規模モデルだけのベースラインと比べ、すべてのタスクで優れた性能を発揮。特に、キーワードの配置や文の構造制御では、GPT-4oが失敗する場面でもDisCIPLは正確に応答した。 研究チームは、今後はモデル同士が相互に指導する「再帰的アーキテクチャ」や、数学的推論、曖昧なユーザー希望への対応を検討。また、最大規模のモデルを活用する可能性も視野に入れている。この技術は、AIの効率化と実用化を加速させる可能性を秘めており、MITの研究機関や国防省、NSFなどの支援を受けて、言語モデリング会議や自律エージェントワークショップで発表された。