AI 실패 원인 분석 도구 개발, 자율차 사고 등 해결 가능

AI 실패 원인을 파악하기 위한 법의학 도구 'AI Psychiatry' 개발 드론이 의료 물품을 배달하고 디지털 비서가 일상적인 업무를 수행하는 것처럼, 인공지능(AI) 기반 시스템은 우리의 일상생활에 점점 더 깊숙이 뿌리내리고 있습니다. 이 혁신의 창조자들은 획기적인 혜택을 약속하지만, 이러한 시스템은 마법 같아 보일 뿐 실제로는 결함이나 편향된 학습 데이터, 코드의 취약점 등으로 인해 예상대로 작동하지 않는 경우가 종종 발생합니다. AI 실패의 원인을 파악하는 것은 시스템을 고치기 위해 필수적입니다. 그러나 대부분의 AI 시스템은 설계자들조차도 이해하기 어려운 불투명한 구조를 가지고 있어, 실패나 공격 후 조사를 하는 것이 매우 어렵습니다. 조지아 공과대학교(Georgia Institute of Technology)에서 컴퓨터 과학자들이 연구한 결과, AI 실패 원인을 파악하기 위한 새로운 시스템 'AI Psychiatry' (AIP)를 개발했습니다. 이 시스템은 실패한 AI 모델을 복원해 '재생'시키는 기술을 통해 그 원인을 체계적으로 조사할 수 있게 합니다. AI 실패의 원인을 밝히는 것은 특히 자율주행 차량 사고와 같은 중요한 사고 이후에 필수적인 과정입니다. 그러나 현재의 조사 방법들은 AI 시스템 내부의 결정 과정을 완전히 파악할 수 있는 단서를 제공하지 못합니다. 또한 고급 AI 시스템은 지속적으로 학습하며 결정 과정을 업데이트하기 때문에, 기존 방법으로는 가장 최신의 모델을 조사하는 것이 불가능합니다. AI Psychiatry는 AI 시스템의 결정 과정을 지원하는 데이터를 분리하고 이를 기능적인 모델로 재조립하는 일련의 법의학 알고리즘을 적용합니다. 이 시스템은 AI가 운영 중이던 순간의 메모리 이미지를 입력으로 받아, 그 순간의 시스템 상태와 결정 과정을 정확히 복원합니다. 메모리 이미지는 자율주행 차량 사고 시 AI가 제어하던 차량의 내부 상태와 결정 과정에 대한 중요한 단서를 제공합니다. AI Psychiatry를 사용하면 조사자들은 메모리에서 AI 모델을 추출하고, 이를 분석해 안전한 환경에서 테스트할 수 있습니다. 연구팀은 30개의 AI 모델을 테스트했으며, 이 중 24개는 특정 트리거에 따라 부정확한 결과를 생성하도록 의도적으로 '백도어'를 심었습니다. AI Psychiatry는 모든 모델을 성공적으로 복원하고 재호스팅해 테스트할 수 있었으며, 실제 상황에서 사용되는 모델들, 예를 들어 자율주행 차량에서 사용되는 교통 표지판 인식 모델까지도 포함되었습니다. 이는 AI Psychiatry가 이전에는 많은 의문을 남겼던 자율 주행 차량 사고와 같은 실패의 원인을 효과적으로 해결할 수 있음을 시사합니다. 만약 차량의 AI 시스템에 취약점이 발견되지 않으면, AI Psychiatry는 조사자들이 다른 원인, 예를 들어 카메라의 고장 등을 찾아볼 수 있도록 AI를 배제할 수 있습니다. AI Psychiatry의 주요 알고리즘은 모든 AI 모델이 결정을 내리기 위해 반드시 필요한 일반적인 구성 요소에 초점을 맞추고 있습니다. 이는 우리 접근 방식이 인기 있는 AI 개발 프레임워크를 사용하는 어떠한 AI 모델에도 쉽게 확장될 수 있음을 의미합니다. AI 실패 가능성을 조사하려는 누구든 해당 모델의 정확한 아키텍처에 대한 사전 지식 없이도 이 시스템을 사용하여 모델을 복원하고 재호스팅해 분석할 수 있습니다. 제품 추천 봇부터 자율 드론 함대를 안내하는 시스템까지, AI Psychiatry는 다양한 AI 플랫폼을 분석할 수 있습니다. AI Psychiatry는 완전히 오픈 소스로 제공되어 어떤 조사자라도 사용할 수 있습니다. 이 시스템은 AI 시스템이 문제가 발생하기 전에 감사를 수행하는 데도 유용한 도구가 될 수 있습니다. 법 집행 기관부터 아동 보호 서비스까지, 정부 기관들이 AI 시스템을 업무 흐름에 통합하면서 AI 감사는 주 수준에서 점점 더 일반화되고 있습니다. AI Psychiatry 같은 도구를 활용하면, 다양한 AI 플랫폼과 배포 방식에 걸쳐 일관된 법의학적 방법론을 적용할 수 있어 장기적으로는 AI 시스템의 창조자들과 이를 활용하는 모든 사람들에게 실질적인 혜택을 줄 것입니다. 이 연구는 조지아 공과대학교의 컴퓨터 과학자들이 진행했으며, 특히 전기 및 컴퓨터 공학 전공 박사 과정 학생인 데이비드 오이겐블릭(David Oygenblik)과 사이버 보안 및 프라이버시 교수인 브렌단 살타포르마지오(Brendan Saltaformaggio)가 주도했습니다. 이 기사는 크리에이티브 커먼즈 라이선스 하에 The Conversation에서 재출판되었습니다. 원문을 읽으세요. ©The Conversation 산업 전문가들은 AI Psychiatry의 개발을 긍정적으로 평가하고 있습니다. 이 시스템은 AI 시스템의 불투명성 문제를 해결하는 데 큰 도움이 될 것으로 기대됩니다. 또한, AI 시스템의 감사와 보안 강화를 위한 중요한 도구로 활용될 수 있을 것입니다. AI 시스템이 우리 생활에 더욱 깊숙이 들어올수록, 이러한 도구의 필요성은 더욱 커질 것입니다. 조지아 공과대학교는 AI 관련 연구 분야에서 선두를 달리는 기관으로 알려져 있으며, 이번 연구는 AI 시스템의 안전성과 신뢰성을 높이는 데 크게 기여할 것으로 보입니다.