Nicolas Boizard Hippolyte Gisserot-Boukhlef Kevin El-Haddad Céline Hudelot Pierre Colombo

要約

推論機能を備えた大規模言語モデル（LLM）は、多様なタスクにおいて最先端の性能を達成している。その実証的成功にもかかわらず、推論が有効となるタスクの種類やモデル規模、およびその学習・推論コストについては、まだ十分に解明されていない。本研究では、合成データの蒸留フレームワークを用いて大規模な教師あり実験を実施した。幅広い数学中心のタスクおよび汎用タスクにおいて、さまざまなサイズのインストラクション微調整（IFT）モデルと推論モデルを比較し、選択式と自由回答式の両方の形式で評価を行った。分析の結果、推論機能がモデル性能を一貫して向上させ、しばしばはるかに大きなIFTシステムと同等あるいはそれを上回ることを明らかにした。特に、IFTは学習および推論コストにおいてパレート最適性を維持しているものの、モデルサイズが拡大するにつれて推論モデルの価値が増すことが明らかになった。特に推論が求められるタスクや自由回答形式のタスクでは、IFTモデルの性能限界を越えることが可能となった。