アリーナライトライティング世代評価データセット
Arena-Writeは、シンガポール工科デザイン大学と清華大学知識工学研究所が共同で2025年に公開した、超長文テキスト生成モデルを評価するためのライティングタスクデータセットです。関連する研究論文は以下の通りです。 LongWriter-Zero: 強化学習による超長文テキスト生成の習得目的は、実際の使用シナリオに近い条件下で、長文コンテンツや複雑なライティングタスクを生成する大規模言語モデルの総合的な機能を体系的に評価することです。
このデータセットには、100個のユーザーライティングタスクが含まれており、各タスクは現実世界のライティングプロンプトで構成され、対応するライティングシナリオの種類がラベル付けされています。タスクは、ソーシャルメディアの投稿、記事、レポートなど、様々なテキスト形式をカバーしており、出力の長さは数百語程度の短いテキストタスクから、2,000語以上の生成を必要とする長いテキストタスクまで、大きく異なります。このデータセットは、ライティングプロンプトに加えて、同じタスクにおける複数の主流ベースラインモデルの生成結果も提供しており、異なるモデル出力の比較評価をサポートします。