Technischer Bericht zu Llama-3.1-FoundationAI-SecurityLLM-8B-Instruct

Große Sprachmodelle (LLMs) haben in zahlreichen Bereichen bemerkenswerte Erfolge erzielt, ihre Integration in Anwendungen der Cybersicherheit bleibt jedoch aufgrund des Mangels an allgemein verwendbaren Cybersicherheitsdaten, der repräsentativen Komplexität sowie sicherheits- und regulativer Bedenken begrenzt. Um diese Lücke zu schließen, haben wir zuvor Foundation-Sec-8B vorgestellt, ein auf Cybersicherheit spezialisiertes Sprachmodell, das für das Feintuning auf nachgelagerte Aufgaben geeignet ist. Dieses Modell war jedoch nicht für dialogbasierte Interaktionen oder die Ausführung von Anweisungen konzipiert. In diesem Bericht stellen wir Foundation-Sec-8B-Instruct vor: ein Modell, das speziell für allgemeine Cybersicherheitsdialoge trainiert wurde. Aufbauend auf Foundation-Sec-8B kombiniert es fachspezifisches Wissen mit der Fähigkeit, Anweisungen zu verstehen, conversationelle Interaktionen zu ermöglichen und menschlichen Präferenzen anzupassen, um hochwertige und relevante Antworten zu generieren. Umfassende Evaluationen zeigen, dass Foundation-Sec-8B-Instruct auf einer Vielzahl von Cybersicherheitsaufgaben Llama 3.1-8B-Instruct übertrifft, während es gleichzeitig dessen Fähigkeit zur Anweisungsbeachtung erreicht. Zudem ist es in Aufgaben im Bereich Cybersicherheitsbedrohungsintelligenz und Anweisungsbeachtung mit GPT-4o-mini konkurrenzfähig. Wir sehen Foundation-Sec-8B-Instruct als unverzichtbaren Assistenten in den täglichen Arbeitsabläufen von Cybersicherheitsfachleuten. Das Modell stellen wir öffentlich unter https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct zur Verfügung.