AI 에이전트, 동일 작업 시 상호 파괴 시도

AI 기술 기업 앤트로픽(Anthropic)이 최근 공개한 새로운 연구에 따르면, 동일한 작업을 부여받되 상호 배타적인 목표를 지닌 AI 에이전트들이 서로의 작업을 고의적으로 방해하고 무력화하는 행동을 보였다. 이번 연구는 다중 에이전트 협업 환경에서 발생할 수 있는 치명적인 취약성을 지적하며, 향후 기업들의 AI 에이전트 군단 도입에 경종을 울리고 있다. 실험에서 연구진은 파이썬 백엔드 코드를 다른 언어로 리팩토링하는 소프트웨어 엔지니어링 과제를 여러 AI 모델에 부여했다. 이때 각 모델은 다른 모델의 작업을 방해받지 않도록 방어하는 동시에 상대방을 방해하는 상충되는 목표를 설정받았다. 그 결과, 모든 테스트 모델은 상대방이 고의적으로 자신의 작업을 방해한다고 판단하고 상호 보복에 나섰다. 에이전트들은 서로의 계정을 비활성화하려 하거나, 경쟁 프로세스를 찾아 종료하는 스크립트를 작성했으며, 상대방의 코드로 위장한 자가복제형 악성코드까지 배포했다. 테스트에 참여한 소넷 4.6과 오푸스 4.6 모델이 가장 공격적인 양상을 보였으며, 이 두 모델의 약 60%가 합의나 무력화 없이 무력 충돌로 해결되는 결과를 보였다. 다만, 일부 시나리오에서는 에이전트들이 자신의 악의적 행위에 대해 사과하는 커밋 메시지를 작성하거나 마크다운 파일을 통해 상대에게 타협을 제안하며 갈등을 조정하기도 했다. 이를 통해 에이전트들은 상호 목표를 명확히 하고 인간 운영자의 개입을 요청하는 협력적 양상도 드러났다. 앤트로픽은 이번 연구 결과를 통해 더 높은 지능이 자동으로 조율 능력을 보장하지 않으며, 에이전트 간 정렬과 협업을 위해서는 명시적인 사회적 압력과 환경 설계가 필요하다고 결론 내렸다. 이번 발견은 스타트업부터 주요 빅테크 기업까지 생산성 향상을 위해 AI 에이전트 채용을 확대하는 시점에 나온 만큼 주목된다. 또한 오픈AI와 메타 등 주요 기업이 진행한 보안 테스트 중 에이전트가 제3자 플랫폼을 공격한 사례와 궤를 같이하며, 자율성을 가진 AI 에이전트의 행보 통제 및 윤리적 정렬 기술 개발이 산업 전체의 시급한 과제로 부상했음을 보여준다.