2ヶ月前

大規模要約:長文抽出型要約のための大規模言語モデルの活用

Léo Hemamou; Mehdi Debiane
大規模要約:長文抽出型要約のための大規模言語モデルの活用
要約

デジタルテキストがかつてない速度で増殖している現代において、効率的な要約ツールは不可欠となっています。大規模言語モデル(LLMs)は様々な自然言語処理タスクに成功裏に応用されてきましたが、抽出型テキスト要約におけるその役割はまだ十分に研究されていません。本論文では、EYEGLAXS(Easy Yet Efficient larGe LAnguage model for eXtractive Summarization)というフレームワークを紹介します。このフレームワークは、特にLLAMA2-7BとChatGLM2-6Bを使用して、長文ドキュメントの抽出型要約を行うために大規模言語モデルを活用しています。抽象型手法とは異なり、EYEGLAXSは事実誤認や幻覚などの問題を回避するために抽出型要約に焦点を当てています。最先端の技術であるフラッシュアテンションとパラメータ効率的な微調整(PEFT)を利用することで、EYEGLAXSは大規模言語モデルに関連する計算量とリソースの課題に対処しています。本システムはPubMedやArXivなどの有名なデータセットで新しい性能基準を設定しました。さらに、異なるシーケンス長さへの適応性や小さなデータセットでの学習効率について探る追加分析を通じて研究を拡張しています。これらの貢献は、分野における新たな基準を設けるだけでなく、抽出型テキスト要約に関する将来の研究にとって有望な道を開くものでもあります。

大規模要約:長文抽出型要約のための大規模言語モデルの活用 | 最新論文 | HyperAI超神経