CyberMetric データセットには、大規模なモデルにわたるサイバーセキュリティの知識を包括的に評価するために慎重に設計された 10,000 の質問が含まれています。データセットはさまざまな大規模モデルを使用して作成され、サイバーセキュリティ分野の専門家によって検証され、その関連性と正確性が保証されています。 一次データは、サイバーセキュリティ分野の規格、認証、研究論文、書籍、その他の出版物から取得されます。さまざまな研究ニーズを満たすために、データ セットには小規模から非常に大規模までの 4 つのスケール バージョンが用意されており、質問数はそれぞれ 80、500、2000、10,000 です。

引用

@INPROCEEDINGS{10679494, author={Tihanyi、Norbert と Ferrag、Mohamed Amine と Jain、Ridhi と Bisztray、Tamas と Debbah、Merouane}、 書籍タイトル={2024 IEEE 国際サイバーセキュリティおよびレジリエンス会議 (CSR)}、 title={CyberMetric: サイバーセキュリティ知識におけるLLMを評価するための検索拡張生成に基づくベンチマークデータセット}, 年={2024}、 ボリューム={}、 番号={}、 ページ={296-302}、 キーワード={精度、リバースエンジニアリング、ベンチマークテスト、NIST規格、リスク管理、問題解決、コンピュータセキュリティ} doi={10.1109/CSR61664.2024.10679494}}