オルカ 2: 小規模言語モデルに推論の方法を教える

オルカ1は説明トレースなどの豊富な信号から学習し、BigBench HardやAGIEvalなどのベンチマークで従来の指示調整モデルを上回る性能を発揮します。オルカ2では、改善された訓練信号が小型言語モデル（LM）の推論能力をどのように向上させるかについて引き続き研究しています。小型LMの訓練に関する研究では、しばしば模倣学習を使用してより高性能なモデルの出力を複製することが行われてきました。しかし、我々は模倣への過度な重点が小型モデルの潜在能力を制限する可能性があると考えています。我々は小型LMに異なるタスクに対して異なる解決戦略を使用することを教えることを目指しており、これは大型モデルが使用する戦略とは異なる場合があります。例えば、大型モデルが複雑なタスクに対して直接的な回答を提供する一方で、小型モデルには同じような容量がないかもしれません。オルカ2では、段階的推論、想起後に生成、想起-推論-生成、直接回答など様々な推論技術をモデルに教えます。さらに重要なのは、各タスクに対して最も効果的な解決戦略を選択する方法をモデルに学ばせることです。オルカ2は15種類以上の多様なベンチマーク（約100のタスクと36,000を超えるユニークなプロンプトに対応）を使用して評価され、零ショット設定での高度な推論能力をテストする複雑なタスクにおいて同規模のモデルを大幅に上回り、5-10倍大きなモデルと同等またはそれ以上の性能を達成しました。オルカ2の重みパラメータはaka.ms/orca-lmで公開されており、小型LMの開発、評価およびアライメントに関する研究を支援することを目指しています。