ZeroGen：データセット生成を活用した効率的なゼロショット学習

近年、大規模な事前学習言語モデル（PLM）の優れた生成能力に伴い、データセット生成に対する関心が高まっている。本論文では、柔軟かつ効率的なゼロショット学習手法である\textsc{ZeroGen}を提案する。ゼロショットタスクが与えられた場合、まず無監督な方法でPLMを用いて完全に新しいデータセットを生成する。その後、生成された合成データセットを教師データとして用いて、小さなタスクモデル（例えばLSTM）を学習する。このアプローチにより、最終的なタスクモデルはPLM（例：GPT2-XL）と比較してパラメータ数が桁違いに少なくなるため、非常に効率的な推論が可能となる。アノテーションを必要とせず、計算効率も高いという利点に加え、本手法はデータフリーなモデルに依存しない知識蒸留（model-agnostic knowledge distillation）や、参照なしテキスト生成評価（unreferenced text generation evaluation）という観点からも有用な知見を提供できると主張する。テキスト分類、質問応答、自然言語推論という異なるNLPタスクにおける実験と分析を通じて、\textsc{ZeroGen}の有効性が確認された。