Arena-Write Datensatz Zur Evaluierung Der Schreibgenerierung
Datum
Paper-URL
Lizenz
Apache 2.0
Arena-Write ist ein Datensatz für Schreibaufgaben zur Evaluierung von Modellen zur Generierung extrem langer Texte. Er wurde 2025 von der Singapore University of Technology and Design in Zusammenarbeit mit dem Knowledge Engineering Lab der Tsinghua-Universität veröffentlicht. Die zugehörigen Forschungsarbeiten sind folgende: LongWriter-Zero: Die Generierung ultralanger Texte durch Reinforcement Learning meisternZiel ist es, die umfassenden Fähigkeiten großer Sprachmodelle bei der Generierung von Langtexten und der Ausführung komplexer Schreibaufgaben unter Bedingungen systematisch zu evaluieren, die realen Anwendungsszenarien möglichst nahekommen.
Dieser Datensatz enthält 100 Schreibaufgaben von Nutzern. Jede Aufgabe besteht aus einer realen Schreibanregung und ist dem entsprechenden Schreibszenario zugeordnet. Die Aufgaben decken verschiedene Textformate ab, darunter Social-Media-Posts, Artikel und Berichte, und weisen erhebliche Unterschiede in der Textlänge auf – von kurzen Texten mit wenigen Hundert Wörtern bis hin zu langen Texten mit über 2.000 Wörtern. Zusätzlich zu den Schreibanregungen enthält der Datensatz die Ergebnisse mehrerer gängiger Basismodelle für dieselbe Aufgabe und ermöglicht so einen Vergleich der Modellausgaben.
KI mit KI entwickeln
Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.