LLM 보안 위험 3가지와 실용적인 대응 전략: NVIDIA AI 레드팀의 핵심 조언

NVIDIA AI 레드팀은 생성형 AI 시스템에서 흔히 발견되는 보안 취약점을 분석하고, 실질적인 대응 방안을 제시했다. 첫 번째 취약점은 LLM이 생성한 코드를 exec나 eval과 같은 함수로 실행할 경우 원격 코드 실행(RCE) 위험이 발생한다는 점이다. 공격자는 프롬프트 주입을 통해 악성 코드를 유도할 수 있으며, 격리되지 않은 환경에서 실행 시 시스템 전체가 침해될 수 있다. 해결책은 exec/eval 사용을 전면 금지하고, LLM 출력을 분석해 사전 정의된 안전한 함수로 매핑하거나, 웹 어셈블리 기반 격리 환경에서만 동적 실행을 허용하는 것이다. 두 번째는 RAG(검색 증강 생성) 시스템에서 데이터 소스 접근 제어가 제대로 구현되지 않아 사용자가 권한 없는 정보에 접근하거나, 데이터 저장소에 무분별하게 쓰기 권한을 부여해 데이터 유출이나 간접 프롬프트 주입 공격의 여지를 제공한다는 점이다. 특히 이메일이나 내부 문서를 RAG 데이터로 활용할 경우, 악성 문서가 포함될 수 있어 위험하다. 이를 막기 위해 사용자별 권한을 정확히 반영하고, 외부 이메일은 별도로 제어하거나, 접근 범위를 사용자 선택형으로 제한하는 것이 효과적이다. 세 번째는 LLM 출력에 마크다운이나 하이퍼링크 등 활성 콘텐츠를 포함할 경우, 브라우저가 자동으로 외부 서버에 요청을 보내면서 사용자 데이터를 암호화해 유출할 수 있다는 점이다. 이를 방지하려면 이미지 로드를 허용하는 사이트를 사전에 제한하고, 링크는 전체 주소를 노출하거나 비활성화해 복사-붙여넣기 방식으로 접근하게 하며, LLM 출력에서 HTML, URL 등을 사전에 정제하는 것이 중요하다. 필요 시 사용자 인터페이스에서 활성 콘텐츠를 완전히 비활성화하는 것도 고려해야 한다. 이러한 조치를 통해 LLM 기반 애플리케이션의 보안 수준을 크게 강화할 수 있다.