Command Palette
Search for a command to run...
엔비디아 등이 EvoSafeHarness를 제안, 다양한 AI 에이전트에 맞춤형 안전 방어선을 자동 구축해 공격 성공률을 45.6%에서 10.0%로 낮춰
대규모 언어 모델이 대화 도구에서 파일, 계정, 데이터베이스 및 외부 서비스를 호출할 수 있는 에이전트로 발전하면서, AI 안전성도 더 구체적인 현실적 결과에 직면하게 되었다. 일반 모델의 단 한 번의 판단 오류는 단지 잘못된 답변을 생성할 뿐일 수 있지만, 모델이 도구를 호출하고 작업을 실행할 수 있게 되면, 동일한 오류가 송금, 데이터 유출, 파일 삭제 등의 실제 영향으로 이어질 수 있다. 이 시점에서 안전 문제는 답변 내용에서 전체 작업 실행 과정으로 확장된다. 에이전트는 사용자 의도를 이해해야 할 뿐만 아니라, 잘못된 지시나 악성 콘텐츠의 영향 아래에서 승인되지 않은 작업을 실행하지 않도록 해야 한다.
이러한 위험은 사용자에게서만 발생하는 것이 아니다. 공격자는 악성 지시를 이메일, 웹페이지, 문서 등 외부 콘텐츠에 숨길 수 있으며, 에이전트가 이를 읽은 후 원래 데이터로 처리해야 할 정보를 새로운 지시로 오인할 수 있다. 이것이 간접 프롬프트 주입이다. 또 다른 유형의 위험은 사용자 요청 자체에서 직접 발생하는데, 예를 들어 에이전트에게 위험하거나 승인되지 않은 작업을 실행하도록 요구하는 경우다. 이러한 문제에 대응하여 연구자들은 점차 방어선을 모델 내부에서 시스템 계층으로 확장하고 있으며, 모델과 도구 사이에 안전 Harness를 추가하여 권한 제어, 도구 호출 검사 및 실행 궤적 모니터링을 통해 실제 행동을 제한한다.
문제는 기존 Harness 대부분이 전문가에 의해 사전 설계된 후 서로 다른 모델과 비즈니스 환경에 재사용된다는 점이다. 모델마다 공격에 대한 자체 방어 능력의 차이가 크고, 분야마다 주목해야 할 위험도 다르다. 파일 시스템은 명령, 경로, 민감한 데이터가 어떻게 흐르는지에 더 관심을 두는 반면, 금융 시스템은 자금의 이동 경로, 거래 순서, 계좌 상태와 관련된다. 동일한 규칙 세트를 일괄 적용하면 제한이 너무 느슨할 때 공격을 막지 못하고, 제한이 너무 엄격하면 정상적인 작업에 영향을 줄 수 있다.
이에 존스홉킨스 대학교, NVIDIA, 캘리포니아 대학교 버클리 캠퍼스 등 기관의 연구팀이 EvoSafeHarness를 제안하여 안전 Harness 자체를 자동 최적화 대상으로 삼았다. 서로 다른 모델과 애플리케이션 도메인에 대해 시스템은 자연어 안전 정책과 실행 가능한 코드 로직을 각각 탐색하고, 모델이 실제로 노출한 실패를 바탕으로 지속적으로 조정한다. 연구는 단지 공격 성공률을 낮출 수 있는지 여부뿐만 아니라, 방어가 추가된 후에도 에이전트가 정상적으로 작업을 완료할 수 있는지도 중점적으로 살펴본다.
관련 연구 성과는 「EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents」라는 제목으로 사전 인쇄 플랫폼 arXiv에 게재되었다.
논문 보기:
https://hyper.ai/papers/2609.05903
4가지 안전 벤치마크가 3가지 비즈니스 시나리오를 포괄
이 연구는 평가를 단일 데이터 세트에 집중하지 않고, DecodingTrust-Agent, Agent-SafetyBench, AgentDojo / AgentDyn, AgentCanary 네 가지 에이전트 안전 벤치마크를 사용한다. 이들은 각각 모델 간·도메인 간 공격, 도구 호출 외부의 안전 문제, 미지 환경 전이, 그리고 공격자가 전략을 능동적으로 조정하는 적응형 공격을 다룬다.
그중 DecodingTrust-Agent Platform(DTAP)이 주요 실험 플랫폼이다. 연구는 14개 도메인 중 OS 파일 시스템, 금융, 통신 3가지 시나리오를 선정하여 직접 공격과 간접 프롬프트 주입을 동시에 테스트한다. 직접 공격의 악성 목표는 사용자 요청 자체에서 비롯되며, 간접 공격은 지시를 파일, 티켓, 기록 또는 메시지에 숨긴다. 각 도메인에는 60개의 탐색 작업이 포함되어 있으며, 정상 작업, 직접 공격, 간접 공격이 각각 20개씩이다. 또한 최종 테스트를 위한 100개의 독립적인 분리 작업이 있으며, 탐색 과정에서 이 데이터에 접근할 수 없다.
Agent-SafetyBench는 도구 호출 외부의 위험을 보완한다. 예를 들어 사용자가 직접 안전하지 않은 요청을 하거나, 에이전트가 최종 답변에서 잘못된 정보를 유포하는 경우다. 연구는 48개의 작업으로 탐색을 수행하고, 240개의 독립 작업에서 각각 깨끗한 환경, 컨텍스트 오염, 간접 주입, 도구 변조, 메모리 주입, 조합 공격을 테스트하여 총 1,440개의 테스트 에피소드를 구성한다.
AgentDojo와 AgentDyn은 방어가 전이될 수 있는지 관찰하는 데 사용된다. Harness는 은행, Slack, 여행, 작업 공간 작업이 포함된 AgentDojo에서만 탐색한 후, 수정 없이 AgentDyn의 쇼핑, GitHub, 일상생활 환경에 직접 적용된다. 후자의 도구와 워크플로는 이전에 탐색에 참여한 적이 없으므로, 이 설정은 '특정 도구 이름을 기억하는 것'을 진정한 일반화 능력으로 오인하는 것을 방지할 수 있다.
AgentCanary는 공격 강도를 더욱 높인다. 공격자는 에이전트의 이전 라운드 실제 응답에 따라 프롬프트를 계속 수정하여 새로운 우회 방식을 찾으려 시도한다. 따라서 고정된 공격 샘플 세트에 대한 방어 효과만 테스트하는 것이 아니라, Harness가 능동적으로 적응하는 공격자에 직면했을 때 얼마나 많은 안전 능력을 유지할 수 있는지를 테스트한다.
EvoSafeHarness: 대상 모델 고정, 자연어 정책과 실행 가능한 코드 공동 최적화
EvoSafeHarness는 대상 대규모 언어 모델에 대한 안전 미세 조정을 수행하지 않으며, 전체 탐색 과정에서 모델 파라미터는 항상 고정 상태를 유지한다. 실제로 변화하는 것은 사용자, 모델, 도구 사이의 Harness, 즉 정보가 모델에 어떻게 들어오는지, 도구 호출이 어떻게 실행되는지, 결과가 어떻게 반환되는지를 제어하는 시스템 계층 로직이다.
연구는 Harness를 자연어 정책과 실행 가능한 코드 두 부분으로 나눈다. 자연어 정책은 주로 어떤 정보를 신뢰할 수 있는지, 외부 콘텐츠를 어떻게 처리해야 하는지, 어떤 상황에서 거부해야 하는지를 명확히 하는 데 사용되며, 실행 가능한 코드는 도구 호출을 직접 검사·수정·차단할 수 있고, 이전 동작을 기록하고 데이터 흐름을 추적하며, 필요 시 보조 판단 모델을 호출한다. 이렇게 하면 일부 보안 제약을 실행 단계에 직접 적용할 수 있어, 모델이 프롬프트의 요구사항을 기억했는지에 전적으로 의존하지 않아도 된다.
전체 검색 과정은 Designer, Criticizer, Cascade Test Environment 및 Analyzer가 협력하여 수행한다. Designer는 도메인 규범, 기존 Harness, 과거 평가 점수 및 모델이 이전에 실패한 실행 궤적을 읽은 후 이를 바탕으로 수정 방안을 마련한다. 조정 내용은 새로운 규칙일 수도 있고, 상태 기록 방식, 검사 위치 또는 전체 제어 흐름과 관련된 것일 수도 있다.
자동 검색에서는 한 가지 문제가 발생하기 쉽다: 시스템이 의도치 않게 테스트 세트 자체에 맞춰 규칙을 학습할 수 있다. 예를 들어, 특정 유형의 공격에서 동일한 위험 파일명이 반복적으로 나타날 경우, 이 파일명을 블랙리스트에 직접 추가하면 점수를 빠르게 높일 수 있지만, 공격자가 파일명을 조금만 바꾸면 우회할 수 있다. 이러한 과적합을 피하기 위해 연구에는 독립적인 Criticizer가 추가되었다. Criticizer는 경로를 변경하거나, 파일 위치를 옮기거나, 공격 명령을 다시 표현하는 방식으로 후보 규칙이 여전히 유효한지 확인한다. 방어가 특정 문자열에 의존하는 경우, 즉 '이 동작이 사용자 승인을 받았는지' '이 정보가 어디서 왔는지'와 같은 상대적으로 안정적인 관계에 의존하지 않는 경우, 후보 방안은 계속 수정되어야 한다.
검토를 통과한 후에야 Harness는 Cascade Test Environment에 들어간다. 테스트는 코드가 정상적으로 실행되는지와 소수의 작업부터 시작하여 점차 범위를 확장한다. 이미 명백히 성능이 낮은 방안은 조기 중단되어 평가 자원을 더 이상 소모하지 않는다. Analyzer는 정상 작업, 직접 공격 및 간접 공격의 성과를 각각 기록하고, 구체적인 실패 궤적도 저장한 후 Designer에게 다시 전달하여 다음 라운드 조정을 수행한다.
평가 시 연구는 공격 성공률만 보지 않았다. 그렇지 않으면 가장 간단한 보안 방안은 모든 작업을 거부하는 것이며, 공격은 실제로 성공할 수 없지만 에이전트의 사용 가치도 사라진다. EvoSafeHarness는 따라서 정상 작업 완료 상황과 공격 성공 상황을 동시에 고려하며, 기본적으로 작업 능력을 유지하면서 공격 성공률을 낮추는 경우에만 후보 방안이 더 높은 평가를 받는다.
검색도 완전히 빈 상태에서 시작하는 것은 아니다. 연구는 기존 보안 방법에서 몇 가지 기본 경험을 도출했으며, 예를 들어 도구 출력은 기본적으로 신뢰할 수 없는 데이터로 간주하고, 실행 동작 전에 사용자의 원래 요청에 부합하는지 확인해야 한다는 것이다. 그러나 이러한 경험은 출발점을 제공하는 데만 사용되며, 이후 검색에서 유지·재구성·삭제될 수 있다. 일부 최종 Harness는 여전히 자연어 정책을 중심으로 하고, 일부는 프로그래밍 방식 규칙에 더 의존하며, 일부는 교차 단계 상태 기록과 데이터 흐름 추적을 추가한다.
여기서 이 작업의 기본적인 접근 방식을 볼 수 있다: 파일 시스템, 금융, 통신 등 분야가 직면한 위험 구조는 서로 다르며, 모델 자체의 행동 습관도 방어 방식에 영향을 미친다. 파일 시스템은 명령, 경로 및 민감한 데이터 흐름을 검사해야 하고, 금융 시나리오는 거래 방향, 자금 흐름 및 여러 작업 간의 관계에 더 관심을 둔다. 구체적으로 모델에 따라, 어떤 모델은 거부된 후 반복적으로 시도하고, 어떤 모델은 대체 경로를 찾으며, 어떤 모델은 한 번에 여러 동시 호출을 실행하므로 Harness는 이에 따라 다른 조정이 필요하다.
OS 파일 시스템을 예로 들면, 동일한 악성 파일 복사 명령을 처리할 때 Sonnet 4.6은 출처 알림과 약간의 의미 검사만 필요하다. 반면 GLM-5는 위험 명령, 민감 위치, 기밀 정보 및 데이터 흐름 검사를 추가해야 한다. GLM-5를 고정하고 금융 시나리오로 변경하면, Harness는 자금 유출, 수취 대상 및 과거 거래를 검사하도록 전환하는데, 그 이유는 위험이 개별적으로는 정상으로 보이지만 결합되면 문제가 되는 여러 작업에서 발생할 수 있기 때문이다.
15개 '모델 × 도메인' 조합 중 14개에서 최고 성능
연구진은 먼저 DTAP에서 Sonnet 4.6, GLM-5, Kimi-K2.5, Qwen3.7-plus 및 DeepSeek-V4-Flash 5개 모델을 테스트하고, OS 파일 시스템, 금융 및 통신 3개 도메인에서 각각 Harness를 검색하여 총 15개의 '모델 × 도메인' 조합을 구성했다.
방어를 추가하지 않았을 때, 5개 모델 간에는 이미 큰 보안 차이가 나타났다. Sonnet 4.6의 평균 공격 성공률(ASR)은 4.8%에 불과했고, DeepSeek-V4-Flash는 71.0%에 달했다. 고정 방어의 효과도 도메인의 영향을 받았으며, CaMeL과 DRIFT는 파일 시스템에서 상대적으로 좋은 성능을 보였지만, 금융 및 통신 시나리오에서는 방어 능력이 현저히 약화되었다.
EvoSafeHarness는 15개 조합 중 14개에서 최고 종합 점수를 기록했습니다. 평균 공격 성공률은 방어가 없을 때의 45.6%에서 10.0%로 감소했으며, 정상 작업 실용성은 단 3.3%포인트만 하락했습니다. 비교 대상으로 CaMeL과 DRIFT의 평균 ASR은 여전히 37.7%와 42.4%였고, Progent는 ASR을 10.5%까지 낮출 수 있었지만 정상 작업 실용성도 56.4%로 떨어진 반면, EvoSafeHarness는 79.8%를 유지했습니다. 공격 유형별로 살펴보면, 직접 공격의 ASR은 50.9%에서 12.6%로, 간접 공격은 40.4%에서 7.4%로 감소했습니다.
이러한 결과는 앞서 언급한 모델 간 차이와 상응합니다. 동일한 파일 시스템 공격에 직면했을 때, Sonnet 4.6은 비교적 가벼운 의미론적 판단만으로도 낮은 ASR을 달성할 수 있었지만, GLM-5는 더 많은 결정적 검사와 상태 추적이 필요했습니다. 도메인이 변경되면 안전 판단의 대상도 함께 달라집니다. 파일 시스템에서는 주로 단일 동작이 위험한 명령이나 민감한 데이터에 닿았는지 확인하지만, 금융 시나리오에서는 이전 거래 기록을 결합하여 여러 동작이 연속적으로 실행될 때 세탁 거래나 자금 이탈을 형성하는지 판단해야 합니다.
Agent-SafetyBench에서 연구는 도구 호출로 반드시 표면화되지 않는 안전 문제를 계속 테스트했습니다. 3개 모델 평균 기준, EvoSafeHarness의 불안전 행동 비율은 12.3%, 공격 성공률은 7.4%, 공격 환경에서의 작업 실용성은 63.4%에 달했습니다. 결과적으로 안전 지표의 개선이 정상 작업에 대한 대규모 거부를 동반하지는 않았습니다.
전이 실험은 Harness가 훈련 중에 접했던 도구에 의존하는지 여부를 더 직접적으로 검증했습니다. EvoSafeHarness는 AgentDojo에서만 검색했으며, 해당 벤치마크에서 82.8%의 실용성과 0%의 ASR을 기록했습니다. 이후 동일한 Harness를 AgentDyn에 직접 적용했을 때도 75.0%의 실용성과 0%의 ASR을 유지했습니다. CaMeL도 AgentDyn에서 0%의 ASR을 달성했지만, 정상 작업 실용성은 동시에 0%로 떨어졌습니다. 이는 모든 위험을 함께 차단하는 것은 어렵지 않지만, 공격을 방어하면서 동시에 에이전트가 정상 작업을 계속 수행하도록 하는 것이 어렵다는 것을 보여줍니다.
AgentCanary의 적응형 공격에서 정적 공격 조건에서 ASR은 23.6%에서 9.7%로 감소했습니다. 공격자가 시스템 피드백에 따라 프롬프트를 지속적으로 수정함에 따라 공격 성공률은 다시 증가했으며, 최대 16회 수정이 허용되었을 때 3가지 공격 도구의 평균 ASR은 19.5%였습니다. 일부 공격이 우회 방법을 다시 찾아냈음에도 불구하고, 방어는 공격 문구 변화로 인해 급격히 무력화되지는 않았습니다.
마지막으로, 연구는 DTAP의 1,050개 짝지어진 공격 작업에 대한 통계적 검정을 수행했습니다. 15개 모델-도메인 조합 중 13개에서 공격 성공률이 유의미하게 감소했으며, 나머지 2개 조합의 모델은 원래부터 대부분의 공격을 방어할 수 있었습니다. 전체 작업에서 EvoSafeHarness는 원래 성공할 수 있었던 385개의 공격을 차단했고, 새로 성공한 공격 사례는 11개에 불과했습니다. 통계적 결과는 이러한 변화가 단순한 무작위 변동이 아님을 뒷받침합니다.
동시에 15개 조합 모두에서 정상 작업 실용성의 신뢰 구간은 방어가 없는 상태와 중첩되었습니다. 즉, 논문에서 관찰된 안전성 향상은 정상 작업 능력을 대규모로 약화시켜 얻은 것이 아닙니다. 실제 환경에 투입되어야 하는 에이전트에게 이는 단순히 더 낮은 공격 성공률을 추구하는 것보다 더 중요합니다.
마치며
EvoSafeHarness는 '통합 Guardrail'과는 다른 접근 방식을 제시합니다. 에이전트가 구체적인 업무 환경에 진입한 후, 안전 제약은 모델 행동과 도메인 위험에 따라 재설계될 수 있으며, 동일한 규칙을 모든 시스템에 적용할 필요가 없습니다. 이 연구는 또한 방어 효과에 실제로 영향을 미치는 요소는 규칙의 수가 아니라, 규칙이 실제 위험에 대응하는지, 검사가 적절한 위치에 배치되었는지, 시스템이 충분한 컨텍스트 상태를 유지하는지 여부임을 보여줍니다.
물론 이 방법에도 한계가 있습니다. 사실 오류, 오해를 유발하는 표현 등 주로 콘텐츠 수준에서 발생하는 위험의 경우, 직접 검사할 수 있는 동작, 권한 또는 상태 관계가 부족하면 시스템 수준의 Harness로 완전히 해결하기 어렵습니다. 에이전트가 실제 비즈니스 시스템에 더 깊이 통합됨에 따라, 모델 자체의 안전 능력, 도메인 규칙, 실행 계층 제약이 어떻게 협력하도록 할 것인지가 지속적인 연구가 더 필요한 문제가 될 수 있습니다.