다브릭스, AI 에이전트 생산성 향상 위한 모자이크 에이전트 브릭스 출시

다atabricks가 기업 AI 에이전트 개발의 난관을 해결하기 위한 Mosaic Agent Bricks 출시 2025년 6월 11일 오전 6시 많은 기업의 AI 에이전트 개발 프로젝트가 실제 프로덕션 단계에 도달하지 못하고 있으며, 이는 기술이 미숙해서가 아니라 기업들이 여전히 수작업 평가를 의존하고 있기 때문이라는 것이 Databricks의 주장이다. Databricks는 이 문제를 해결하기 위해 Mosaic Agent Bricks를 출시했다. 이 플랫폼은 2024년에 선보인 Mosaic AI Agent Framework를 기반으로 하며, 연구 결과를 바탕으로 한 혁신적인 기능들을 통해 AI 에이전트 최적화를 자동화한다. Mosaic Agent Bricks의 주요 혁신 중 하나는 TAO (Test-time Adaptive Optimization)의 통합으로, 라벨링된 데이터 없이도 AI 튜닝을 수행할 수 있는 새로운 접근 방식을 제공한다. 또한, 도메인별 합성 데이터 생성, 작업 인지 벤치마크 생성, 수작업 없이 품질-비용 균형 최적화 등의 기능을 포함하고 있다. 이 새로운 플랫폼의 근본적인 목표는 Databricks 사용자들이 기존 AI 에이전트 개발에서 직면한 문제를 해결하는 것이다. Databricks의 신경망 최고기술책임자(CTO)인 한린 탕(Hanlin Tang)은 "기업들은 이 에이전트들이 적절하게 작동하는지 평가할 방법이 없었습니다. 대부분 수작업으로 인지 추적을 해서 에이전트가 충분히 좋아 보이는지 확인하곤 했지만, 이를 프로덕션에 적용하는 데 대한 확신을 주지 않았습니다"라고 VentureBeat에 말했다. 탕은 2023년 Databricks에 13억 달러에 인수된 Mosaic의 공동 창업자兼CTO였다. Mosaic에서는 많은 연구 혁신이 즉각적인 기업 영향력을 가져오지 못했으나, Databricks 인수 이후 상황이 크게 달라졌다. Mosaic의 제품이 Databricks에 처음 출시되었을 때, 수천 개의 기업 고객들이 하룻밤 사이에 이를 사용하기 시작했다. 이는 Mosaic이 기업 고객들과의 깊은 협력을 통해 새로운 연구 문제를 발견하고, 이를 해결하기 위해 발전해온 결과라고 할 수 있다. Mosaic Agent Bricks는 기업 팀이 비용이 많이 드는 시도-오류 최적화 과정을 겪는 문제를 해결하기 위해 설계되었다. 작업 인지 벤치마크나 도메인별 테스트 데이터가 없는 상태에서 매 에이전트 조정이 비싼 추측 게임이 되는 것을 방지한다. 이 플랫폼은 고수준의 작업 설명과 기업 데이터를 받아, 나머지는 자동으로 처리한다. 작업 특异性 평가 및 LLM 판결자를 생성 고객 데이터를 반영하는 합성 데이터 생성 다양한 최적화 기법을 통해 최적 구성을 찾아냄 "고객은 문제를 고수준으로 설명하고, 세부 사항은 저희가 처리합니다. 시스템은 합성 데이터를 생성하고, 각 작업에 맞는 맞춤형 LLM 판결자를 구축합니다"라고 탕은 설명했다. AI 에이전트 구축과 평가는 기업 AI 준비의 핵심 부분이지만, 그것만으로는 부족하다. Databricks는 Mosaic Agent Bricks를 통합 데이터 스택 위의 AI 소비 층으로 위치시키고 있으며, Data + AI Summit에서는 2024년 처음 공개된 Lakeflow 데이터 엔지니어링 플랫폼의 일반 사용 가능성을 선언했다. Lakeflow는 데이터 준비의 어려움을 해결하며, 이전에는 별도의 도구가 필요했던 세 가지 중요한 데이터 엔지니어링 프로세스를 통합한다. 데이터 수집(Ingestion)은 구조화된 데이터와 비구조화된 데이터를 Databricks로 가져오는 것을 담당하고, 데이터 변환(Transformation)은 효율적인 데이터 정제, 재구성, 준비를 제공하며, 데이터 관리(Orchestration)는 프로덕션 워크플로우 및 일정 관리를 맡는다. Lakeflow는 기업 데이터를 준비하고, Mosaic Agent Bricks는 이를 바탕으로 최적화된 AI 에이전트를 구축하는 직접적인 워크플로우를 제공한다. Databricks의 유니티 카탈로그(Unity Catalog)의 거버넌스 기능 덕분에, Mosaic Agent Bricks는 추가 설정 없이도 기업 데이터 거버넌스를 준수하도록 에이전트 행동을 관리한다. 이 기능은 액세스 제어와 데이터 라인지 관리를 포함한다. Mosaic Agent Bricks는 또 다른 기능인 '인간 피드백 기반 에이전트 학습(Agent Learning from Human Feedback)'을 도입하여 '프롬프트 스태핑(prompt stuffing)' 문제를 해결한다. 프롬프트 스태핑은 사용자가 다양한 지침을 프롬프트에 넣어 AI 에이전트가 이를 따르길 바라는 관행을 가리킨다. 그러나 이 방법은 종종 실패하는데, 그 이유는 에이전트 시스템 내의 여러 구성 요소가 조정이 필요하기 때문이다. '인간 피드백 기반 에이전트 학습' 기능은 자연어 지침을 자동으로 해석하여 적절한 시스템 구성 요소를 조정한다. 이 접근법은 강화 학습(RLHF)을 모방하지만, 개별 모델 가중치가 아닌 에이전트 시스템 수준에서 작동한다. 이 기능은 자연어 지침이 모호할 수 있고, 에이전트 시스템 내에 많은 구성 점이 있어 조정해야 하는 부분을 식별하는 것이 어려운 문제를 해결한다. Mosaic Agent Bricks는 기존 프레임워크와 도구들보다 기술적으로 우위에 있으며, 수작업 설정과 튜닝이 필요 없는 점이 특징이다. TAO, 컨텍스트 내 학습, 프롬프트 최적화, 미세 조정 등 여러 연구 기법을 자동으로 통합한다. 에이전트 간 통신에 대해서는 현재 시장에 Google의 Agent2Agent 프로토콜 등 몇 가지 옵션이 있지만, Databricks는 다양한 에이전트 프로토콜을 탐색 중이며, 단일 표준을 선택하지 않았다. Mosaic Agent Bricks는 에이전트 간 통신을 위해 두 가지 주요 방법을 제공한다: 1. 다양한 프로토콜로 래핑할 수 있는 엔드포인트로 에이전트 노출 2. MCP (Model Context Protocol) 인지를 지원하는 멀티-에이전트 감독자 사용 Mosaic Agent Bricks는 기업이 AI 에이전트를 효과적으로 평가하고 최적화할 수 있는 기반을 제공함으로써, AI 기술 도입의 차단 요인이었던 평가 인프라 문제를 해결한다. 이로 인해 기업들은 최적화 프레임워크 구축에 필요한 자원을 사용 케이스 식별과 데이터 준비에 집중할 수 있게 되었다. AI 에이전트 배포를 선도하고자 하는 기업들에게, 이 개발은 평가 인프라가 더 이상 장애물이 되지 않게 만든다는 점에서 전략적인 의미를 가진다. 산업 내부자의 평가에 따르면, Mosaic Agent Bricks는 기업들이 AI 에이전트의 성능을 신뢰할 수 있도록 돕는 중요한 도구가 될 것으로 기대된다. Databricks는 이 기술을 통해 기업들이 AI를 보다 효율적으로 활용할 수 있도록 지원하며, 앞으로도 지속적인 혁신을 선보일 것으로 보인다.