새 기술로 AI 시각 시스템 조작 가능, 안전성 위협

연구진이 인공지능(AI) 컴퓨터 비전 시스템을 공격하는 새로운 방법을 선보여, 사용자가 AI가 보는 물체를 제어할 수 있게 되었다. 이 연구는 가장 널리 사용되는 AI 비전 시스템들을 모두 조작할 수 있는 기술인 'RisingAttacK'의 효과성을 입증한 것이다. 이 문제의 핵심은 '적대적 공격(adversarial attacks)'이다. 적대적 공격은 AI 시스템에 제공되는 데이터를 조작하여 시스템이 이미지에서 특정 물체를 보거나 보지 못하게 하는 행위를 말한다. 예를 들어, 누군가 자율주행 차량의 AI가 교통 신호, 보행자, 다른 차량 등을 인식하지 못하도록 할 수 있다. 또는 해커가 X선 기계에 코드를 설치하여 AI가 잘못된 진단을 내릴 수 있다. "AI 비전 시스템은 인간의 건강과 안전에 영향을 미치는 다양한 분야에서 활용되므로, 이러한 시스템의 보안성이 매우 중요합니다. 취약점을 식별하는 것이 그 취약점을 방어하는 첫걸음이기 때문입니다," 북캐롤라이나 주립대학교 전기 및 컴퓨터 공학부 부교수인 텐푸 우(Tianfu Wu) 박사가 설명한다. "우리는 AI 비전 시스템을 해킹하는 효과적인 방법을 찾고자 했습니다." RisingAttacK는 이미지에 최소한의 변경을 가해 사용자가 AI가 보는 내용을 조작할 수 있도록 설계되었다. 먼저, RisingAttacK는 이미지의 모든 시각적 특징을 식별한다. 다음으로, 해당 공격의 목표를 달성하기 위해 가장 중요한 특징을 결정하는 작업을 수행한다. 예를 들어, "공격의 목표가 AI가 차량을 인식하지 못하게 하는 것이라면, 이미지에서 차량을 인식하기 위한 가장 중요한 특징은 무엇일까요?"라고 우 박사는 말한다. RisingAttacK는 AI 시스템이 데이터 변화에 얼마나 민감한지를 계산하고, 특히 핵심 특징의 데이터 변화에 얼마나 민감한지를 확인한다. 이 과정은 일부 컴퓨팅 능력을 필요로 하지만, 공격을 성공시키기 위해 핵심 특징에 매우 작고 정확한 변경을 가할 수 있게 한다. 결과적으로 두 이미지가 인간 눈에는 똑같아 보일 수 있지만, 하나의 이미지에서는 차량을 보고 다른 이미지에서는 차량을 보지 못할 수 있다. "RisingAttacK의 특성상, AI가 인식하도록 훈련받은 상위 20개 또는 30개의 대상에 대해 AI의 인식 능력을 영향을 미칠 수 있습니다. 따라서 그 대상은 차량, 보행자, 자전거, 정지 표지 등이 될 수 있습니다," 우 박사는 덧붙인다. 연구진은 RisingAttacK를 네 가지 가장 일반적으로 사용되는 비전 AI 프로그램—ResNet-50, DenseNet-121, ViTB, DEiT-B—에 대해 테스트했으며, 이 기술은 모든 프로그램을 조작하는 데 효과적이었다. "우리는 RisingAttacK가 비전 모델을 조작하는 능력을 입증했지만, 현재는 이 기술이 큰 언어 모델 등 다른 AI 시스템을 공격하는 데 얼마나 효과적인지 평가하고 있습니다," 우 박사가 말한다. "앞으로의 목표는 이러한 공격을 성공적으로 방어할 수 있는 기술을 개발하는 것입니다." 이 연구 결과는 7월 15일부터 캐나다 밴쿠버에서 열리는 국제기계학습회의(ICML 2025)에서 발표될 예정이다. 업계 관계자들은 RisingAttacK의 도입이 AI 비전 시스템의 보안성 강화에 중요한 역할을 할 것으로 기대하고 있다. 이 기술은 AI 시스템의 취약점을 노출시켜 방어 메커니즘 개발을 촉진할 것이며, 북캐롤라이나 주립대학교는 이미지를 포함한 다양한 데이터 유형에 대한 보안 연구를 지속적으로 진행하고 있다.