12 天前
Llama-3.1-基础AI安全LLM-8B-指令 技术报告
Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi

摘要
大型语言模型(LLMs)在多个领域已展现出卓越的性能,但其在网络安全应用中的集成仍受限于通用网络安全数据的缺乏、表征复杂性以及安全与监管方面的顾虑。为填补这一空白,我们此前提出了 Foundation-Sec-8B——一个面向网络安全领域的大型语言模型,适用于下游任务的微调。然而,该模型并未针对对话式交互或指令遵循进行专门设计。在本报告中,我们发布 Foundation-Sec-8B-Instruct:一款专为通用网络安全对话任务训练的模型。该模型基于 Foundation-Sec-8B 构建,融合了领域专业知识、指令遵循能力、对话交互能力以及与人类偏好对齐的特性,能够生成高质量且相关性强的响应。全面评估表明,Foundation-Sec-8B-Instruct 在多项网络安全任务上优于 Llama 3.1-8B-Instruct,同时在指令遵循能力方面保持相当水平;在网络安全威胁情报和指令遵循任务上,其表现也与 GPT-4o-mini 具有竞争力。我们预期,Foundation-Sec-8B-Instruct 将成为网络安全专业人员日常工作中不可或缺的智能助手。该模型现已公开发布,访问地址为:https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct。