12일 전

Llama-3.1-기초AI보안LLM-8B-지시기술 보고서

Sajana Weerawardhena, Paul Kassianik, Blaine Nelson, Baturay Saglam, Anu Vellore, Aman Priyanshu, Supriti Vijay, Massimo Aufiero, Arthur Goldblatt, Fraser Burch, Ed Li, Jianliang He, Dhruv Kedia, Kojin Oshiba, Zhouran Yang, Yaron Singer, Amin Karbasi
Llama-3.1-기초AI보안LLM-8B-지시기술 보고서
초록

대규모 언어 모델(Large Language Models, LLMs)은 다양한 분야에서 놀라운 성과를 보여왔지만, 일반적인 사이버보안 데이터 부족, 표현 복잡성, 안전성 및 규제 우려 등의 이유로 사이버보안 분야에의 통합은 여전히 제한적이다. 이 격차를 해소하기 위해 우리는 이전에 하류 작업에 대한 미세조정(fine-tuning)에 적합한 사이버보안 중심의 LLM인 Foundation-Sec-8B를 소개한 바 있다. 그러나 이 모델은 대화형 상호작용이나 지시사항 수행을 위한 설계가 되어 있지 않았다. 본 보고서에서는 일반적인 사이버보안 대화에 특화된 모델인 Foundation-Sec-8B-Instruct를 공개한다. Foundation-Sec-8B를 기반으로 하여, 도메인 특화 지식과 지시사항 수행 능력, 대화형 기능, 인간의 선호도와의 일치를 결합함으로써 고품질이고 관련성이 높은 응답을 생성할 수 있다. 포괄적인 평가 결과, Foundation-Sec-8B-Instruct는 사이버보안 작업 전반에서 Llama 3.1-8B-Instruct를 능가하면서도 지시사항 수행 능력은 동등하게 유지함을 확인하였다. 또한 사이버 위협 인텔리전스 및 지시사항 수행 과제에서 GPT-4o-mini와 경쟁 수준의 성능을 보였다. 우리는 Foundation-Sec-8B-Instruct가 사이버보안 전문가들의 일상 업무 흐름에서 필수적인 보조 도구가 될 것으로 기대한다. 본 모델은 https://huggingface.co/fdtn-ai/Foundation-Sec-8B-Instruct 에서 공개한다.