안트로픽, 해석 가능한 AI 모델 개발에 집중

인공지능의 해석 가능성: 앤트로픽의 연구가 기업 AI 전략에 미치는 영향 2025년 6월 17일 오후 4:01 앤트로픽의 CEO 다리오 아모디는 4월에 인공지능 모델이 어떻게 생각하는지를 이해하는 것이 필요하다고 강력히 주장했습니다. 이는 앤트로픽이 글로벌 AI 순위 경쟁에서 뛰어난 성과를 내는 가운데, 다른 최상위 AI 연구소와 차별화된 점을 보여주는 중요한 시기입니다. 2021년에 오픈AI의 안전성에 대한 우려로 7명의 직원들이 독립해 설립된 앤트로픽은 인간 가치를 존중하는 AI 모델을 개발하는 것을 목표로 합니다. 이를 '헌법적 AI' 시스템이라고 부르며, 모델이 '도움이 되고, 정직하며, 해롭지 않은' 원칙을 따르도록 설계되었습니다. 앤트로픽의 주요 모델인 클로드 3.7 손넷은 2월 출시 때 코딩 벤치마크에서 독보적인 성능을 보여주었으며, 최근 출시된 클로드 4.0 오포스와 손넷으로 다시한번 코딩 벤치마크의 선두를 유지하고 있습니다. 그러나 오늘날의 빠르게 변화하는 AI 시장에서는 앤트로픽의 경쟁사들이 이미 클로드보다 수학, 창작글 작성, 그리고 다양한 언어에 대한 종합적인 추론 능력에서 우위를 차지하고 있습니다. 예를 들어, 구글의 젬니 2.5 프로와 오픈AI의 O3는 코딩 능력뿐만 아니라 다른 분야에서도 뛰어난 성능을 보이고 있습니다. 아모디는 의료, 심리학, 법률 등 중요 분야에서 AI 모델의 안전성과 인간 가치가 필수적이므로, 인공지능의 미래와 그 의미를 고려하고 있습니다. 이 회사는 '해석 가능한 AI' 개발에 주력하고 있는데, 이는 모델이 어떤 방식으로 생각하고 결론을 도출하는지를 일정 수준으로 이해할 수 있는 모델을 말합니다. 현재 AI 모델은 사용자의 요청에 응답할 때 특정 단어를 선택하거나 종종 오류를 범하는 이유를 완전히 이해할 수 없다는 점이 문제입니다. 이러한 오류, 즉 허위 정보 생성이나 인간 가치와 맞지 않는 응답은 AI 모델이 그들의 잠재력을 다 발휘하지 못하게 합니다. 실제로 많은 사례에서 AI가 환각과 윤리적으로 적절하지 않은 행동을 계속해서 보이고 있습니다. 아모디는 이러한 문제를 해결하기 위해 AI가 어떻게 생각하는지를 이해하는 것이 가장 좋은 방법이라고 보고 있습니다. "우리가 모델의 내부 메커니즘을 이해할 수 없다면 이런 [유해한] 행동을 의미있게 예측할 수 없고, 따라서 이를 배제하는 데 어려움이 있습니다. 반면 모델의 내부를 들여다볼 수 있다면, 모든 시스템 해킹을 체계적으로 차단하고 위험한 지식을 어떻게 처리하는지를 파악할 수 있습니다."라고 그는 말했습니다. 또한, 아모디는 "고도의 금융 또는 안전성이 중요한 환경에서 AI 모델을 배포하는 데 있어서도 불투명성은 문제가 됩니다. 왜냐하면 모델의 행동을 완전히 제한할 수 없기 때문에 작은 실수가 매우 해롭할 수 있기 때문입니다."라고 설명했습니다. 직접 인간에게 영향을 미치는 의사결정, 예를 들어 의료 진단이나 모기지 평가 같은 경우, 법적 규정에 따라 AI가 결정을 설명해야 합니다. 예를 들어, 금융 기관이 대형 언어 모델(LLM)을 사용하여 사기 검출을 수행한다면, 해석 가능성이 대출 신청 거부 reasons를 고객에게 설명하는 데 필요한 법적 요구사항을 충족시킬 수 있습니다. 또는 제조업체가 공급망을 최적화하는 경우, AI가 특정 공급자를 추천하는 이유를 이해함으로써 효율성을 극대화하고 예상치 못한 병목 현상을 방지할 수 있습니다. 이러한 이유로 아모디는 "앤트로픽은 해석 가능성을 더욱 강화하고 있으며, 2027년까지 '해석 가능성이 대부분의 모델 문제를 신뢰성 있게 감지할 수 있도록' 하는 것이 우리의 목표"라고 말했습니다. 앤트로픽은 최근 5,000만 달러를 투자하여 AI '뇌 스캔' 분야에서 획기적인 진전을 이루고 있는 고프파이 연구소에 참여했습니다. 그들의 모델 검사 플랫폼인 엠버는 학습된 개념을 식별하고 사용자가 조작할 수 있는 무차별 도구입니다. 최근 데모에서는 엠버가 이미지 생성 AI에서 개별 시각적 개념을 인식하고 사용자가 이 개념들을 캔버스에 그려 새로운 이미지를 생성하는 방법을 보여주었습니다. 앤트로픽의 이러한 투자는 해석 가능한 모델 개발이 매우 어렵다는 점을 시사합니다. 창의적인 해석 가능한 모델을 개발하려면 새로운 도구 체인과 숙련된 개발자들이 필요합니다. 더 넓은 맥락: AI 연구자의 관점 벤처비트는 이러한 아모디의 관점을 깊이 이해하고 추가적인 맥락을 제공하기 위해 프린스턴의 AI 안전 연구자 사야시 카포르와 인터뷰를 진행했습니다. 카포르는 AI의 과장된 주장에 대한 비판적인 시각을 제공하는 책 'AI 스퍼마 오일'의 공동 저자이며, 'AI를 일반적인 기술'로 취급해야 한다는 주장을 펼친 'AI as Normal Technology'의 공동 저자입니다. 카포르는 해석 가능성의 가치를 부정하지 않지만, 이를 AI 정렬의 중심축으로 여기는 것에 회의적입니다. "해석 가능성은 만병통치약이 아니다"라고 카포르는 말했습니다. 가장 효과적인 안전 기술 중 일부는 actually 모델의 내부를 열어볼 필요가 없다고 그는 주장했습니다. 또한 그는 '불투명성의 오류'라는 개념에 대해 경고합니다. 이는 우리가 시스템의 내부를 완전히 이해하지 못한다면 책임감 있게 사용하거나 규제할 수 없다는 아이디어입니다. 실제에서는 완전한 투명성이 모든 기술을 평가하는 방법이 아니며, 중요한 것은 시스템이 실제 상황에서 얼마나 안정적으로 작동하느냐입니다. 이는 아모디가 처음으로 AI가 우리의 이해를 뛰어넘을 위험이 있다는 경고를 한 것이 아닙니다. 2024년 10월의 글 'Machines of Loving Grace'에서 아모디는 점점 더 능력 있는 모델들이 실제로 의미 있는 실제 세계 행동을 할 수 있을 것이라는 비전을 제시했습니다. 그는 이러한 모델들이 우리의 수명을 두 배로 늘릴 수도 있다고 주장했습니다. 카포르는 모델의 능력과 힘 사이에 중요한 구분을 두어야 한다고 강조합니다. 모델의 능력은 확실히 빠르게 증가하고 있으며, 곧 인간이 현재 직면한 많은 복잡한 문제들에 대한 해결책을 찾을 수 있을 정도로 충분한 지능을 갖추게 될 것입니다. 하지만 모델의 힘은 우리가 실제 세계와 상호작용할 수 있는 인터페이스, 즉 모델이 배포되는 위치와 방식에 따라 결정됩니다. 아모디는 별도로 미국이 AI 개발에서 선두를 유지하기 위해 수출 통제를 통해 강력한 모델에 대한 접근을 제한해야 한다고 주장했습니다. 이는 권위주의 정부들이 선두 AI 시스템을 부적절하게 사용하거나 그로 인해 지정학적 및 경제적 우위를 얻을 수 있다는 우려 때문입니다. 그러나 카포르는 "심지어 수출 통제의 가장 큰 지지자들조차도 이로 인해 최대 1~2년의 시간을 벌 수 있을 것이라는 데 동의한다"며, AI를 전기나 인터넷처럼 '일반 기술'로 취급해야 한다고 주장합니다. 혁신적이긴 하지만, 이 기술들이 사회 전반에 걸쳐 완전히 실현되기 위해서는 수십 년이 걸렸습니다. AI 역시 마찬가지로, 지정학적 우위를 유지하는 가장 좋은 방법은 산업을 효과적으로 AI를 사용하도록 변형하는 '장기 게임'에 집중하는 것이라고 그는 생각합니다. 아모디의 입장을 비판하는 다른 연구자들도 있습니다. 지난 주 파리에서 열린 VivaTech에서 엔비디아의 CEO詹森黄宣布他不同意阿莫迪的观点。黄说：“如果你想安全和负责任地完成事情，那就公开进行……不要在暗室里操作，然后告诉我它是安全的。” 对此，安特罗皮克回应称：“达里奥从未声称只有安特罗皮克可以开发出安全且强大的AI。正如公共记录所显示的，达里奥一直倡导为AI开发者（包括安特罗皮克）制定国家透明度标准，以便公众和政策制定者了解模型的能力和风险，并做好相应准备。” 值得注意的是，安特罗皮克在追求可解释性方面并不孤单：谷歌的DeepMind可解释性团队，由尼尔·南达领导，也在可解释性研究方面做出了重要贡献。 最终，顶级AI实验室和研究人员提供的有力证据表明，可解释性可能是竞争激烈的AI市场中的关键差异化因素。优先考虑可解释性的企业可能会通过建立更受信任、合规且适应性强的AI系统而获得显著的竞争优势。 (注意：最后一段有100个单词用于包含行业内部人士的评估、公司概况等信息) 이런 맥락에서, 최고의 AI 연구실과 연구자들은 해석 가능성이 치열한 AI 시장에서 차별화 요소가 될 수 있다는 강력한 증거를 제공하고 있습니다. 해석 가능성을 우선적으로 고려하는 기업들은 더 신뢰 받고, 규제를 준수하며, 유연한 AI 시스템을 구축하여 상당한 경쟁 우위를 차지할 수 있을 것입니다. 앤트로픽은 이미 아마존과 구글로부터 수십억 달러의 투자를 받았으며, 자체 AI 모델 개발에도 앞서고 있어, 이들의 경쟁 우위는 아직 성장 단계에 있다고 볼 수 있습니다. 엠버와 같은 도구를 활용하면서, 앤트로픽은 AI 모델의 장기적인 운영 비용을 크게 줄일 수 있는 방법을 찾아내고 있습니다. 이는 디버깅, 감사, 그리고 복잡한 AI 배포에서 위험을 완화하는 데 큰 도움이 될 것입니다. 구글의 딥마인드 해석 가능성 팀 역시 이 분야에서 중요한 기여를 하고 있으며, 이는 해석 가능성 연구의 중요성을 더욱 부각시키고 있습니다. 이처럼, 해석 가능성은 AI 시장에서 중요한 역할을 할 것으로 보이며, 이를 적극적으로 도입하는 기업들이 장기적으로 큰 이익을 볼 가능성이 큽니다.