LM-CPPF: 対照的なプロンプトベースの少量微調整におけるパラフレージングガイダンスによるデータ拡張

近年、NLP（自然言語処理）向けの事前学習済み言語モデルの開発において大きな進展が見られています。しかし、これらのモデルは小規模データセットで微調整される場合、しばしば苦戦します。この問題に対処するために、研究者たちは様々な適応手法を提案しています。プロンプトベースの微調整は特に大規模モデルにおいて最も一般的な方法の一つです。過去の研究では、対照的学習をプロンプトベースの微調整に組み込むことが効果的であることが示されています。これは、モデルがクラス間でより区別可能な埋め込みを生成するのに役立ち、また正例と負例を同時に学習することでサンプル効率が向上するためです。対照的学習における最も重要な要素の一つはデータ拡張ですが、コンピュータビジョンとは異なり、NLPでの効果的なデータ拡張は依然として困難です。本論文では、LM-CPPF（Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models）という手法を提案します。この手法は生成型言語モデル、特にGPT-3やOPT-175Bなどの大規模言語モデルを使用してプロンプトベースの一発学習による言い換えを行い、データ拡張に活用します。複数のテキスト分類ベンチマークに対する実験結果から、この拡張手法が易しいデータ拡張や逆翻訳、複数テンプレートなどの他の方法よりも優れていることが示されました。