L'ensemble de données CyberMetric comprend 10 000 questions soigneusement conçues pour évaluer de manière exhaustive les connaissances en cybersécurité des grands modèles. L'ensemble de données a été créé à l'aide de différents grands modèles et validé par des experts humains dans le domaine de la cybersécurité pour garantir sa pertinence et son exactitude. Les données originales proviennent de normes, de certifications, d’articles de recherche, de livres et d’autres publications dans le domaine de la cybersécurité. Pour répondre aux différents besoins de recherche, l'ensemble de données propose quatre tailles : petite à très grande, avec respectivement 80, 500, 2 000 et 10 000 questions.

Citation

@INPROCEEDINGS{10679494, author={Tihanyi, Norbert et Ferrag, Mohamed Amine et Jain, Ridhi et Bisztray, Tamas et Debbah, Merouane}, booktitle={Conférence internationale IEEE 2024 sur la cybersécurité et la résilience (CSR)}, titre={CyberMetric : un ensemble de données de référence basé sur la génération augmentée par récupération pour l’évaluation des LLM en cybersécurité}, année={2024}, volume={}, nombre={}, pages={296-302}, mots-clés={Précision;Ingénierie inverse;Tests de référence;Normes NIST;Gestion des risques;Résolution de problèmes;Sécurité informatique}, est ce que je={10.1109/CSR61664.2024.10679494}}