11日前

メトリクスベースのインコンテキスト学習:テキスト簡略化における事例研究

Subha Vadlamannati, Gözde Gül Şahin
メトリクスベースのインコンテキスト学習:テキスト簡略化における事例研究
要約

大規模言語モデルにおける文脈内学習(In-context Learning, ICL)は、自然言語処理の多くのタスクにおいて強力なアプローチであることが実証されている。しかし、ICLにおける例の選択方法を最適化することは非自明であり、使用する例の質、数、順序によって結果が大きく変動するためである。本研究では、テキスト簡略化(Text Simplification, TS)を事例として、ICLにおける最適かつ頑健な例の選択方法を検討する。提案するメトリクスベースの文脈内学習(Metric-Based in-context Learning, MBL)手法は、SARI、圧縮率、BERT-Precisionといった一般的に用いられるTS評価メトリクスを活用して例を選定する。標準的なTSベンチマーク(TurkCorpusおよびASSET)を用いた、GPTモデルのさまざまなサイズ(GPT-175BからGPT-6.7Bまで)に対する広範な実験の結果、大規模モデル(GPT-175B)では上位のSARIスコアに基づいて選ばれた例が最も優れた性能を示す一方で、小規模モデル(GPT-13BおよびGPT-6.7B)では圧縮率に基づく選択が一般的に優れていることが明らかになった。さらに、MBLが例の順序やドメイン外テストセットに対して一般的に頑健であり、強力なベースラインおよび最先端の微調整済み言語モデルを上回ることを実証した。最後に、大規模GPTモデルの振る舞いが選択されたメトリクスによって間接的に制御可能であることも示した。本研究は、ICLにおける例選択のための新しい枠組みを提供し、テキスト簡略化タスクにおけるその有効性を示した。これにより、より正確かつ効率的な自然言語生成(NLG)システムの構築に新たな道を開いた。

メトリクスベースのインコンテキスト学習:テキスト簡略化における事例研究 | 最新論文 | HyperAI超神経