IBM, 기업고객들이 AI 여러 모델을 활용하며 맞춤형 사용 사례에 적용하는 추세

IBM은 기업 고객들이 모든 종류의 인공지능(AI)을 사용하고 있으며, 주요 과제는 적절한 대형 언어 모델(LLM)을 올바른 용도에 맞게 활용하는 것이라고 보고합니다. 2025년 6월 25일, IBM의 AI 플랫폼 부사장인 Armand Ruiz는 VB Transform 2025에서 이 회사가 생성형 AI에 대해 어떻게 생각하고, 기업 고객들이 실제로 이 기술을 어떻게 활용하고 있는지를 상세히 설명했습니다. Ruiz는 특히 한 가지 LLM 공급자나 기술을 선택하는 것이 아니라, 특정 LLM을 타깃용도에 맞게 다중 모델 접근 방식을 채택하는 것이 중요하다고 강조했습니다. 기업 고객들은 단일 벤더 AI 전략을 거부하고, 다양한 LLM을 특정 용도에 맞게 사용하는 다중 모델 접근 방식을 선호하고 있습니다. IBM은 자체 개발한 오픈 소스 AI 모델인 Granite 시리즈를 가지고 있지만, 이를 모든 작업에 대한 유일한 선택이나 최적의 선택으로 포지셔닝하지 않습니다. 이러한 기업 행동은 IBM이 기초 모델 경쟁자가 아닌 AI 작업의 '통제탑'으로 자신을 포지셔닝하도록 이끌었습니다. "고객 앞에 앉아 있으면, 그들은 이용할 수 있는 모든 것을 사용하고 있습니다,"라고 Ruiz는 말했습니다. "코딩에는 Anthropic을 좋아하고, 논리 추론에는 o3을 선호하며, 자체 데이터와 미세 조정(fine-tuning)은 우리의 Granite 시리즈나 작은 모델을 가진 Mistral, 심지어 Llama를 사용하곤 합니다. 바로 LLM을 올바른 용도에 맞게 활용하는 것입니다." IBM의 다중 LLM 게이트웨이 전략 IBM의 이 시장 현실에 대한 응답은 최근 발표된 모델 게이트웨이입니다. 이 게이트웨이는 기업이 다른 LLM 간에 한 번의 API 호출로 전환하면서 동시에 모든 배포에서 관찰성과 거버넌스를 유지할 수 있도록 합니다. 기술 구조는 고객들이 민감한 용도에서는 자신의 추론 스택에서 오픈 소스 모델을 실행하면서, 덜 중요한 애플리케이션에는 AWS Bedrock나 Google Cloud의 Gemini와 같은 공개 API를 동시에 사용할 수 있게 합니다. "그 게이트웨이는 고객들에게 한 번의 API 호출로 하나의 LLM에서 다른 LLM로 전환하고, 전체 과정에서 관찰성과 거버넌스를 추가할 수 있는 단일 계층을 제공합니다,"라고 Ruiz는 설명했습니다. 이는 대부분 벤더들이 자사 생태계에 고객을 묶으려는 전략과는 정반대의 접근 방식입니다. IBM 외에도 여러 도구가 최근 몇 달 동안 모델 라우팅을 위해 등장했습니다. 이 도구들은 작업을 적절한 모델로 안내하는 데 도움을 줍니다. 에이전트 간 통신 프로토콜이 임계 인프라로 부상 다중 모델 관리 외에도 IBM은 에이전트 간 통신을 위한 오픈 프로토콜 개발에 착수했습니다. 회사는 ACP(Agent Communication Protocol)를 개발하여 Linux Foundation에 기여했습니다. Google은 이번 주에 A2A(Agent2Agent) 프로토콜을 Linux Foundation에 기여했습니다. Ruiz는 두 프로토콜 모두 에이전트 간 통신을 촉진하고 커스텀 개발 작업을 줄이는 것을 목표로 삼는다고 말했습니다. 그는 결국 두 접근 방식이 합쳐질 것으로 예상하고, 현재 A2A와 ACP 사이의 차이는 주로 기술적인 것이라고 덧붙였습니다. 에이전트 오케스트레이션 프로토콜은 다양한 플랫폼과 벤더 간 AI 시스템이 상호작용할 수 있는 표준화된 방법을 제공합니다. 기업 규모에서 이 기술의 중요성이 더욱 명확해집니다. 일부 IBM 고객들은 이미 100개 이상의 에이전트를 파일럿 프로그램에서 운영 중이며, 표준화된 통신 프로토콜 없이는 각 에이전트 간 상호작용을 위한 커스텀 개발이 불가피해져 지속 가능한 통합 부담이 증가하게 됩니다. AI는 업무 흐름과 방식의 변화를 가져오는 것 Ruiz는 AI가 기업에 미치는 영향에 대해 다음과 같이 설명했습니다: "대화형 챗봇만 하는 것이나 AI를 통해 비용 절감만을 목표로 하는 것은 진정한 AI 활용이 아닙니다. AI는 실제로 업무 흐름과 업무 방식을 완전히 변화시키는 것입니다." AI 실행과 AI 변혁의 차이는 기술이 기존 비즈니스 프로세스에 얼마나 깊게 통합되는지에 있습니다. IBM의 내부 HR 사례는 이 변화를 잘 보여줍니다. 이제 직원들은 HR 정보를 챗봇에게 요청하지 않고, 보상, 채용, 승진 등에 관한 루틴 쿼리를 전문 에이전트가 처리합니다. 필요한 경우에만 적절한 시스템으로 자동 라우팅되고, 인간의 개입이 필요할 때만 에스컬레이션됩니다. "예전에는 HR 파트너들과 많은 일을 논의해야 했습니다. 이제는 대부분 HR 에이전트가 처리합니다,"라고 Ruiz는 설명했습니다. "보상에 관한 질문인지, 이직 처리인지, 채용인지, 승진인지에 따라 이 모든 것이 다른 내부 HR 시스템에 연결되며, 각각 별도의 에이전트가 됩니다." 이는 사람과 컴퓨터의 상호작용 패턴에서 컴퓨터 매개의 워크플로 자동화로의 근본적인 구조 변경을 의미합니다. 직원들이 AI 도구와 어떻게 상호작용해야 할지를 배우는 것이 아니라, AI가 비즈니스 프로세스를 처음부터 끝까지 독립적으로 수행하도록 학습하는 것입니다. 기술적 함의: 기업들은 단순한 API 통합과 프롬프트 엔지니어링을 벗어나, AI 에이전트가 다단계 워크플로를 독립적으로 수행할 수 있도록 깊은 프로세스 인스트루멘테이션에 투자해야 합니다. 기업 AI 투자의 전략적 함의 IBM의 실제 배포 데이터는 기업 AI 전략을 위한 몇 가지 중요한 변화를 시사합니다: 챗봇 중심 사고를 버려야 합니다: 조직은 기존 시스템에 대화형 인터페이스를 추가하는 것이 아니라, 완전한 워크플로를 변혁할 수 있는 기회를 찾아야 합니다. 목표는 인간의 개입을 제거하는 것입니다. 다중 모델 유연성을 고려한 설계가 필요합니다: 기업들은 특정 용도 요구사항에 따라 모델을 전환할 수 있는 통합 플랫폼을 필요로 하며, 이는 거버넌스 표준을 유지하면서 이루어져야 합니다. 통신 표준에 투자해야 합니다: 조직은 ACP, A2A와 같은 새로운 프로토콜을 지원하는 AI 도구를 우선으로 고려해야 합니다. 이는 벤더 로킹인을 초래하는 독점적 통합 방식보다 우월합니다. ".AI에 대해 알아야 할 것이 너무 많습니다. 항상 말씀드리지만, 모든 사람이 AI를 배워야 하며 특히 비즈니스 리더들은 AI를 중심으로 생각하고 개념을 이해해야 합니다,"라고 Ruiz는 강조했습니다. 업계 인사이더들의 평가는 IBM의 이러한 접근 방식이 기업 AI 시장에서 벤더 간 경쟁력을 높이는 데 중요한 역할을 할 것으로 기대하고 있습니다. IBM은 100년 넘는 기술 트렌드의 변화를 경험하며, 선택의 여지가 있는 기술이 결국 승리한다는 것을 배웠습니다. IBM의 다중 LLM 게이트웨이와 에이전트 오케스트레이션 프로토콜은 기업들이 AI를 효율적으로 활용하고, 비즈니스 프로세스를 완전히 혁신할 수 있는 중요한 기반을 제공하고 있습니다.