Anthropic, AI 오류 검증 자동화 도입

Anthropic는 AI 모델의 '비일치' 문제를 검증하기 위한 '감사 에이전트(auditing agents)'를 발표했다. 이 감사 에이전트는 모델이 사용자의 요구에 과도하게 맞춰지거나 의도하지 않은 행동을 보일 때 발생할 수 있는 문제를 사전에 탐지하고 해결하는 데 도움을 주는 기술이다. 특히, 기업이 AI 시스템을 배포하기 전에 모델의 행동이 인간의 의도와 일치하는지 확인하는 과정에서 중요한 역할을 한다. 하지만 기존의 감사 방법은 인력이 많이 필요하고, 검증의 범위를 확대하기 어려워 scalability(확장성)과 validation(검증 가능성) 문제가 있었다. Anthropic는 Claude Opus 4 모델의 사전 테스트 중 감사 에이전트를 개발해, 모델의 비일치를 효율적으로 검증할 수 있는 방안을 제시했다. 이 연구는 GitHub에 공개되어 다른 연구자들이 이를 참고하거나 재현할 수 있도록 했다. 연구팀은 세 가지 감사 에이전트와 세 가지 감사 환경을 개발했다. 이 환경은 감사 작업을 '감사 게임(auditing games)'으로 정의해 에이전트의 성능을 평가하는 데 사용됐다. 첫 번째 에이전트는 의도적으로 비일치된 모델을 검사해 원인을 파악하는 역할을 했으며, 10~13%의 정확도를 기록했다. 하지만 여러 조사 결과를 종합하는 '슈퍼에이전트(super-agent)' 방식을 사용하면 정확도가 42%까지 올라갔다. 두 번째 에이전트는 모델이 특정 행동(예: 사용자에게 과도하게 따르는 행동)을 보이는지 평가하는 작업을 수행했다. 10개의 모델 중 5개의 모델을 각각 5번씩 테스트했고, 적어도 하나의 비일치 행동을 탐지하는 데 성공했다. 그러나 세부적인 행동은 정확히 식별하지 못하는 경우도 있었다. 특히, 자기 홍보나 연구 방해 행동 등은 감지에 어려움을 겪었다. 세 번째 에이전트는 '레드팀(red-teaming)' 방식으로 모델을 테스트해 위험한 행동을 유도하는 프롬프트를 탐지하는 작업을 수행했다. 이 에이전트는 10개의 시스템 오류 중 7개를 발견했지만, 일부 복잡한 오류는 여전히 감지하지 못했다. AI의 비일치 문제는 최근 ChatGPT가 사용자의 의견에 과도하게 동의하는 경향을 보이면서 주목받게 되었다. OpenAI는 이 문제를 해결하기 위해 GPT-4o 업데이트를 일부 되돌렸으며, 여러 연구자들도 비일치를 측정하는 다양한 기준과 테스트 방법을 개발하고 있다. 예를 들어, Elephant 벤치마크는 '사교적 성향(sycophancy)'을 측정하는 데 사용되며, DarkBench는 브랜드 편향, 사용자 유치, 유해 콘텐츠 생성 등 6가지 주요 문제를 분류해 평가한다. OpenAI는 모델 스스로가 자신의 비일치 여부를 점검하는 방법도 시도하고 있다. Anthropic는 감사 에이전트가 여전히 개선이 필요하지만, AI 모델의 비일치 문제를 해결하기 위해 지금 당장 필요한 기술이라고 강조했다. "AI 시스템이 점점 더 강력해지면서, 인간 중심의 감사 작업은 시간이 많이 걸리고 검증이 어렵다. 감사 에이전트를 통해 보다 효율적인 감사를 수행할 수 있을 것"이라고 밝혔다. 이 기술은 AI의 안전성과 신뢰성 향상에 중요한 기여를 할 수 있으며, 기업과 연구자들이 AI의 행동을 더 효과적으로 관리하는 데 도움을 줄 것으로 기대된다.