Rapport technique Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Les modèles linguistiques à grande échelle (LLM) ont connu un succès remarquable dans de nombreux domaines, mais leur intégration dans les applications de cybersécurité reste limitée en raison d’un manque de données généralistes en cybersécurité, de la complexité représentationnelle et de préoccupations liées à la sécurité et à la réglementation. Pour combler cet écart, nous avons précédemment présenté Foundation-Sec-8B, un modèle linguistique spécialisé en cybersécurité adapté au fine-tuning sur des tâches spécifiques. Ce modèle, toutefois, n’avait pas été conçu pour les interactions de type conversation ou le suivi d’instructions. Dans ce rapport, nous présentons Foundation-Sec-8B-Instruct : un modèle spécifiquement entraîné pour les dialogues généralistes en cybersécurité. Basé sur Foundation-Sec-8B, il combine des connaissances spécifiques au domaine, la capacité à suivre des instructions, des fonctionnalités conversationnelles et une alignement avec les préférences humaines afin de générer des réponses de haute qualité et pertinentes. Des évaluations approfondies montrent que Foundation-Sec-8B-Instruct surpasser Llama 3.1-8B-Instruct sur plusieurs tâches de cybersécurité tout en égalant sa performance en suivi d’instructions. Il se montre également compétitif avec GPT-4o-mini sur les tâches d’intelligence sur les menaces informatiques et le suivi d’instructions. Nous envisageons que Foundation-Sec-8B-Instruct devienne un assistant incontournable dans les flux de travail quotidiens des professionnels de la cybersécurité. Le modèle est mis à disposition publiquement à l’adresse suivante : https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct.