このデータセットは、大規模言語モデル (LLM) の長いコンテキスト理解能力をテストおよび評価するために、北京総合人工知能研究所 (Tongyan Institute と呼ばれる) と北京大学人工知能研究所によって提案されたベンチマーク データ セット - LooGLE - です。 ）。 LooGLE は、最も一般的な 9 つの長文 LLM を評価し、これらのモデルは、複数の情報の取得、時間の並べ替え、計算、依存関係の長い複雑なタスクにおける理解と推論の機能の点で楽観的ではないことを発見しました。商用モデル (Claude3-200k、GPT4-32k、GPT4-8k、GPT3.5-turbo-6k、LlamaIndex) の平均精度はわずか 40% ですが、オープンソース モデル (ChatGLM2-6B、LongLLaMa-3B、RWKV-4-) 14Bパイル、LLaMA-7B-32K)精度は10%のみ。 この研究論文のタイトルは「LooGLE: ロングコンテキスト言語モデルは長いコンテキストを理解できますか?この論文はACL2024に採択されました。共同筆頭著者は通信情報技術研究所の李佳琦氏と王孟孟氏、責任著者は通信情報技術研究所研究員の鄭子龍氏と北京大学助教授の張牧漢氏です。 LooGLE は、非常に長いテキストを提供し、比較的最近のドキュメントを使用し、非常に長い依存関係を持つ慎重に設計され注釈が付けられたタスクなどの利点を提供することで、以前のデータセットの欠点を解決します。 LooGLE ベンチマーク データセットの開始は、長文 LLM を評価および改善するための新しいツールを提供するだけでなく、人工知能言語処理テクノロジの開発に新しい方向性を提供します。

引用

@article{li2023loogle, title={LooGLE: 長文脈言語モデルは長文脈を理解できるか？}, 著者={李、嘉琦と王、孟蒙と鄭、子龍と張、ムーハン} ジャーナル={arXivプレプリント arXiv:2311.04939}、 年={2023} }