캘리포니아, AI 규제 새 방안 제시

캘리포니아는 다시 한 번 AI 거인들을 규제하려고 노력하고 있다. 지난 9월, 캘리포니아 상원에서 제안된 SB 1047 법안이 주지사 가빈 뉴섬(Gavin Newsom)의 책상에 도달했지만, 그는 이 법안을 거부하면서 논란을 일으켰다. SB 1047은 특히 1억 달러 이상의 훈련 비용이 드는 대형 AI 모델의 제작자들이 특정 위험을 검사하도록 요구하는 내용을 담고 있었다. AI 산업의 내부 고발자들은 뉴섬 주지사의 거부를 반겼지만, 대부분의 대형 기술 회사들은 환영하지 않았다. 그러나 이야기는 거기서 끝나지 않았다. 뉴섬 주지사는 이 법안이 너무 엄격하고 획일적이라고 느껴, 선도적인 AI 연구자들로 구성된 그룹에게 대체 계획을 제안하도록 요청했다. 이 계획은 캘리포니아 주내에서 생성형 AI의 개발과 관리를 지원하면서 그에 따른 위험을 관리할 방침을 담고 있다. 화요일, 이 그룹은 52페이지짜리 "캘리포니아 프론티어 정책 보고서"를 발표했다. 보고서의 저자들은 뉴섬 주지사가 SB 1047를 거부한 이후 AI 기능, 특히 모델의 사슬 추론 능력이 "급속히 향상되었다"고 말한다. 역사적 사례 연구, 경험적 연구, 모델링 및 시뮬레이션을 통해 저자들은 AI 모델에 대한 더 많은 투명성과 독립적인 검토를 요구하는 새로운 프레임워크를 제안했다. 보고서는 AI의 발전이 캘리포니아의 농업, 바이오테크놀로지, 클린 테크, 교육, 금융, 의료, 교통 분야에 큰 영향을 미칠 것이라고 결론지었다. 저자들은 규제 부담이 조직들이 준수할 수 있는 자원을 갖추도록 하는 것이 중요하다면서, 이와 동시에 위험을 줄이는 것이 가장 중요한 목표라고 강조했다. 저자들은 3월에 공개 의견을 청취하기 위해 보고서 초안을 발표했지만, 최종 버전에서는 이러한 모델이 "화학, 생물, 방사선, 핵(CBRN) 무기 위험"에 기여한다는 증거가 늘고 있다는 점을 추가로 언급했다. 주요 기업들은 이 분야에서 모델의 능력이 크게 향상되었음을 자체적으로 보고하고 있으며, 저자들은 회사 규제를 분류하는 데 있어 단순히 훈련에 필요한 컴퓨팅량만을 기준으로 하는 것은 적절하지 않다고 지적했다. AI의 훈련 요구사항은 계속 변화하고 있으며, 컴퓨팅 기반 정의는 실제 사용 사례에서 이러한 모델이 어떻게 채택되는지를 무시하기 때문이다. 초기 위험 평가와 하류 영향 평가 같은 요소들이 중요하다는 것이다. 현재 AI 산업은 투명성이 부족한 상태로, 데이터 확보 방식, 안전 및 보안 프로세스, 출시 전 테스트, 잠재적 하류 영향 등 핵심 영역에서 "시스템적인 불투명성"이 존재한다고 저자들은 주장했다. 보고서는 내부 고발자 보호, 연구자들의 독립적인 평가를 위한 안전망 제공, 그리고 일반 대중에게 정보를 직접 제공하여 현재 주요 AI 회사들이 선택적으로 공개하는 것보다 더 투명한 환경을 만들기 위한 조치를 요구하고 있다. 보고서의 공동 저자인 스콧 싱어(Scott Singer)는 The Verge에 AI 정책에 대한 대화가 연방 차원에서 "완전히 바뀌었다"고 말하며, 캘리포니아가 각 주 사이에서 "합리적인 정책"을 주도하는 "조화 노력"을 할 수 있다고 주장했다. 이는 AI 모로토리엄을 지지하는 사람들이 주법이 만들어낼 복잡한 패치워크를 우려하는 것과 대조된다. 한편, 인스티어틱(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)는 지난 달 초 오피니언에서 주요 AI 기업들이 "회사 웹사이트에서 국가 안보와 기타 재앙적인 위험을 테스트하고 완화할 계획을 공개적으로 공개해야 한다"는 연방 투명성 표준을 요구했다. 그러나 보고서의 저자들은 "새롭고 복잡한 기술이 놀라운 속도로 개발되고 채택됨에 따라 개발자들만으로는 기술을 완전히 이해하고 특히 그 위험과 피해를 파악하기에 부족하다"고 지적했다. 이 때문에 보고서의 핵심 원칙 중 하나는 제3자 위험 평가의 필요성이다. 저자들은 제3자 평가자가 대형 AI 모델의 위험과 사각지대를 테스트할 수 있도록 충분한 접근 권한을 제공할 것을 요구했다. 하지만 기업들은 이에 대해 매우 주저하고 있다. 메트르(Metr)라는 회사는 OpenAI와 파트너십을 맺고 안전 테스트를 진행하지만, 블로그 포스트에서 OpenAI의 O3 모델에 대한 테스트 시간이 과거 모델보다 짧았으며, 데이터나 모델의 내부 추론에 충분한 접근 권한을 주지 않았다고 밝혔다. 이런 제한으로 인해 "강력한 기능 평가를 수행할 수 없었다"고 메트르는 전했다. OpenAI는 이후 메트르와 같은 회사들에게 더 많은 데이터를 공유할 방법을 탐색하고 있다고 밝혔다. 보고서는 제3자 평가자들이 위험을 효과적으로 테스트하기 위해서는 API 또는 모델의 가중치 공개만으로도 충분하지 않을 수 있으며, 기업들이 독립 연구자들이 안전 결함을 발견할 경우 소송이나 금지 조치를 취하지 못하도록 하는 "억압적" 이용 약관을 사용할 수 있음을 지적했다. 작년 3월, 350명 이상의 AI 산업 연구자들은 독립 AI 안전 테스트를 위한 "안전 보호"를 요구하는 서명 운동을 벌였다. 이번 보고서는 이 서명 운동을 인용하며, 큰 변화와 AI 시스템으로 피해를 본 사람들을 위한 보고 옵션을 요구하고 있다. "완벽하게 설계된 안전 정책조차도 모든 중대한 부정적인 결과를 100% 방지할 수 없다"고 저자들은 강조하며, "기초 모델이 널리 채택됨에 따라 실제로 발생하는 피해를 이해하는 것이 점점 더 중요해지고 있다"고 덧붙였다. 산업 전문가들은 이 보고서가 AI 산업의 성장과 안전성을 동시에 고려하는 균형 잡힌 접근 방식을 제시하고 있다고 평가하고 있다. 이를 통해 캘리포니아는 AI 기술의 선두주자로서 전국적으로 공감대를 형성할 수 있는 정책을 마련하는데 앞장설 것으로 기대된다. 캘리포니아의 이 새로운 접근 방식은 글로벌 AI 산업의 발전에 중요한 역할을 할 것으로 보이며, 특히 기업들이 스스로의 모델을 완벽하게 이해하고 관리하기 어려운 상황에서 제3자 평가의 중요성이 부각되고 있다.