CS-Eval は、アリババ セキュリティ、復旦大学、中国科学院大学が共同で設立した大規模モデルのネットワーク セキュリティ能力評価セットです。このデータ セットは、ネットワーク セキュリティの 11 の主要カテゴリ、42 のサブカテゴリ、および 4,369 の多肢選択式質問、正誤質問、知識抽出質問をカバーしており、知識ベースで実践的な包括的な評価タスクを提供し、ユーザーの独立した評価をサポートします。サイバーセキュリティは、大規模なモデルを実装するためのプラットフォームを提供し、参照とインスピレーションを提供します。

引用

@inproceedings{Yu2024CSEvalAC,
title={CS-Eval: A Comprehensive Large Language Model Benchmark for CyberSecurity},
author={Zhengmin Yu and Jiutian Zeng and Siyi Chen and Wenhan Xu and Dandan Xu and Xiangyu Liu and Zonghao Ying and Nan Wang and Yuan Zhang and Min Yang},
year={2024},
url={https://api.semanticscholar.org/CorpusID:274234403}
}