캐피털원, 다중 에이전트 AI 시스템으로 차량 구매 경험 개선

캐피털 원은 기존 기술의 한계를 넘어 고객 경험을 향상시키기 위해 최첨단 다중 에이전트 AI 시스템을 개발하고 배포했습니다. 이 시스템은 자동차 구매 과정을 보다 원활하게 만들어주며, 1억 명 이상의 고객에게 서비스를 제공하기 위한 확장성과 복잡성을 고려하여 설계되었습니다. 캐피털 원의 AI 재단 부사장인 밀린드 나파데는 실질적인 실험과 활용 사례를 통해 리스크 관리와 안전성을 혁신과 함께 유지하는 데 대한 최선의 방법과 배운 교훈들을 공유했습니다. AI 시스템 설계의 핵심 캐피털 원은 고객의 요구사항을 이해하고, 이를 충족할 수 있는 메커니즘을 제공하며, 규제 기관의 정책과 비즈니스 규칙을 준수하는 것이 핵심이라고 강조했습니다. 이를 위해 다중 에이전트 AI 시스템을 도입했으며, 이 시스템은 여러 AI 에이전트가 각각 다른 역할을 수행합니다. 예를 들어, 한 에이전트는 고객과 소통하며, 다른 에이전트는 비즈니스 규칙에 따라 행동 계획을 작성합니다. 세 번째 에이전트는 첫 두 에이전트의 정확성을 평가하고, 네 번째 에이전트는 사용자에게 행동 계획을 설명하고 검증합니다. 인간 에이전트의 추론 방식 모방 금융 기관은 고객 여정을 지원하는 어떠한 워크플로도 설계할 때 매우 엄격한 요구 사항을 가지고 있습니다. 캐피털 원은 고객들의 이슈와 질의응답 과정에서 여러 가지 복잡한 절차를 거치는 것을 발견했습니다. 이로 인해 설계 과정은 특히 복잡해졌습니다. 연구팀은 사람들이 어떻게 추론하는지를 분석하여, 다양한 전문지식을 가진 여러 AI 에이전트가 함께 문제를 해결하는 프레임워크를 개발했습니다. 나파데는 "우리는 이 시스템이 동적이고 반복적이어야 한다는 점을 깨달았습니다"라고 말했습니다. 많은 기업들이 LLM(대형 언어 모델)을 기존 메커니즘의 프론트엔드로 사용하여 의도 분류만 하는 반면, 캐피털 원은 처음부터 이 접근법이 확장성이 없다는 것을 인식하고 새로운 방식을 시도했습니다. 리스크 관리와 평가 에이전트 규제 기관으로부터 승인받은 기업으로서, 캐피털 원은 내부 리스크 완화 프로토콜과 프레임워크를 갖추고 있으며, 이를 AI 시스템에 통합했습니다. 나파데는 "기업 내에서 독립된 다른 기관이 당신을 관찰하고, 평가하고, 질문하고, 감사를 진행하는 것처럼, AI 에이전트 중 하나가 첫 두 에이전트의 행동을 캐피털 원의 정책과 규칙에 따라 평가하는 역할을 맡도록 했습니다"라고 설명했습니다. 평가 에이전트는 이전 에이전트들이 성공적으로 임무를 수행했는지를 판단하고, 그렇지 않으면 계획 에이전트에게 오류를 수정하도록 요청합니다. 이 과정은 적절한 계획이 도출될 때까지 반복됩니다. 이러한 철저한 접근법은 캐피털 원이 지속 가능하고 견고한 궤도에 오르게 하는 중요한 요소이며, 많은 기업들이 앞으로 이 방식을 채택할 것으로 예상됩니다. 기술적 도전과 NVIDIA와의 협력 다중 에이전트 AI 시스템은 조직 전반의 충족 시스템과 협력해야 하며, 다양한 권한을 가진 도구와 API를 호출하면서도 높은 정확성을 유지해야 하는 어려움이 있었습니다. 사용자의 의도를 명확히 파악하고 신뢰할 수 있는 계획을 생성 및 실행하는 것이 특히 도전적이었습니다. 캐피털 원은 "이 시스템을 실제 시장에 내놓기 전에 여러 실험, 테스트, 평가, 인간 참여 등이 필요했습니다"라고 말했습니다. 이 과정에서 특별한 선례가 없었기 때문에, 이는 처음 시도되는 것이었습니다. 캐피털 원은 학술적 연구와 업계 동향을 주시하며, 최신 기술을 추적하고 있습니다. 현재 사례에서는 오픈 웨이트 모델을 사용했으며, 이는 고도의 맞춤화가 가능하다는 장점이 있습니다. 나파데는 AI 전략에서 경쟁 우위를 얻기 위해서는 독점 데이터가 필수적이라고 주장했습니다. 기술 스택 면에서는 내부 기술, 오픈 소스 도구 체인, NVIDIA 추론 스택을 조합하여 활용하고 있습니다. NVIDIA와의 긴밀한 협력은 캐피털 원이 필요한 성능을 얻는 데 큰 도움이 되었으며, 업계 특화 기회를 공동으로 개발하고 Triton 서버 및 TensorRT LLM의 기능 우선순위를 설정하는 데 기여했습니다. 앞으로의 전망 캐피털 원은 계속해서 비즈니스 전반에 걸쳐 AI 에이전트를 배포, 확장, 개선하고 있습니다. 첫 다중 에이전트 워크플로는 자동차 사업을 통해 배포된 '챗 콘시어지'입니다. 이 시스템은 자동차 딜러와 고객 모두에게 차량 구매 과정을 지원하도록 설계되었습니다. 풍부한 고객 데이터를 통해 딜러들은 유망한 잠재 고객을 더욱 효과적으로 식별할 수 있게 되어, 고객 참여 지표가 최대 55%까지 개선되었습니다. 나파데는 "이 자연스럽고 쉬운 24/7 에이전트를 통해 딜러들은 훨씬 더 좋은 유망한 잠재 고객을 생성할 수 있었습니다"라고 말했습니다. 캐피털 원은 이 능력을 다른 고객 접점에서도 적용하고자 하지만, 체계적으로 진행할 계획입니다. "이는 여정입니다"라고 그는 덧붙였습니다. 업계 전문가의 평가와 회사 프로필 캐피털 원의 다중 에이전트 AI 워크플로는 금융 기관의 복잡한 요구 사항을 충족시키면서도 혁신성을 유지하는 데 성공한 사례로 평가되고 있습니다. 업계 전문가들은 이 시스템이 고객 경험을 획기적으로 개선하고, 기업의 비즈니스 모델에 새로운 차원을 더할 것으로 예상하고 있습니다. 캐피털 원은 AI 기술의 리더로서, 앞으로도 이 분야에서 지속적인 혁신을 이어갈 것으로 보입니다.