Prompt2Model：自然言語による指示からデプロイ可能なモデルを生成する

大規模言語モデル（LLM）は、システム構築者がプロンプトを用いることで、自然言語でタスクを記述し、少数の例を提示するだけで効果的な自然言語処理（NLP）システムを構築できるようにしている。しかし、他の側面では、従来の専用NLPモデルに比べて一歩後退していると言える。LLMは導入に膨大な計算リソースを要し、APIを介してのみ利用可能になる場合もあるため、実装の柔軟性に制約がある。本論文では、LLMに提示されるような自然言語によるタスク記述を入力として受け取り、それをもとに展開に適した専用モデルを学習する汎用的手法「Prompt2Model」を提案する。この手法は、既存のデータセットおよび事前学習済みモデルの検索、LLMを用いたデータセットの生成、およびこれらの検索・生成されたデータセットに基づく教師あり微調整という複数ステップのプロセスを経て実現される。3つのタスクにおいて、同じ少サンプルプロンプトを入力として与えた場合、Prompt2Modelが学習するモデルは、強力なLLMであるgpt-3.5-turboの性能を平均20%上回り、モデルサイズは最大で700分の1まで削減できることが実証された。さらに、本手法で得られるデータを用いることで、モデルの性能に対する信頼性の高い推定が可能となり、開発者は実装前にモデルの信頼性を評価できるようになる。Prompt2Modelは、GitHub上でオープンソースとして公開されており、https://github.com/neulab/prompt2model から利用可能である。