AutoSynthData, 기업용 AI 에이전트 학습 데이터 자동 생성
서비스나우 코어AI는 기업용 AI 에이전트의 도메인 특화 학습을 위한 자동 데이터 생성 시스템 AutoSynthData를 공개했다. 기업 환경은 고유한 시스템 제약과 정책, 데이터 상태를 따르기 때문에 일반 모델이 실무에서 취약점을 보이는 경우가 많지만, 이를 체계적인 학습 자료로 전환하는 과정은 항상 어려웠다. AutoSynthData는 이러한 격차를 메우는 것을 목표로 개발되었다. 해당 시스템은 먼저 타겟 모델의 실패 패턴을 진단해 학습이 필요한 역량 공백을 파악한다. 이어 강력한 교사 모델의 성공 사례를 바탕으로 실행 가능성, 업무 현실성, 적절한 난이도를 갖춘 신규 과제를 생성한다. 생성된 각 작업은 시스템 사양, 사용자 프롬프트, 검증기로 구성되며, 양성 검증과 음성 검증, 비평가 기반 수리 절차를 거치며 품질이 엄격히 검증된다. 아울러 배치 수준 검토를 통해 데이터의 중복을 방지하고 학습 신호의 균형을 맞춘다. 이 과정은 타겟 데이터 생성과 확장 단계를 거쳐 고품질 합성 학습 데이터셋을 구축한다. 서비스나우는 오픈소스 환경 벤치마크인 EnterpriseOps Gym을 활용해 하이브리드 및 ITSM 도메인에서 시스템의 효과를 검증했다. Gemma-4-26B-A4B-it 모델을 타겟으로 설정하고 각 도메인당 약 2,000개의 합성 데이터를 생성해 지도 학습을 적용한 결과, 하이브리드 환경에서 Pass@1 점수가 7.2%p 상승하며 상대 개선율 35%를 기록하고 벤치마크 격차의 59%를 해소했다. ITSM 도메인에서도 8.41%p의 향상 효과를 얻었다. AutoSynthData는 모델의 성능 향상에 따라 난이도 기준을 자동으로 재조정하는 동적 커리큘럼 방식을 제안한다. 학습 후 모델의 잔여 취약점을 재평가해 다음 데이터 생성 라운드에 반영함으로써, 반복적인 데이터 확보와 효율적인 모델 진화 경로를 동시에 제공한다. 서비스나우는 이 프레임워크가 현재 지도 학습뿐 아니라 강화학습 파이프라인으로도 확장될 수 있음을 시사하며, 기업 환경에서 에이전트의 안정성과 전문성을 대폭 높일 기술 인프라로 평가된다.
