최근 몇 년 동안 대규모 모델 기능의 지속적인 향상은 인공지능의 발전 방향을 재편해 왔습니다. 그러나 모델 성능의 한계가 점차 "알고리즘 혁신 주도"에서 "데이터 품질 주도"로 이동하고 있다는 인식이 뚜렷해지고 있습니다. 고품질의 인간 주석 데이터가 점점 더 부족해지고 비용이 많이 드는 상황에서, 합성 데이터는 학습 후 단계에서 중요한 보조 수단으로 자리 잡고 있습니다. 합성 데이터는 실제 데이터 세트에서 상대적으로 드문 예외적인 사례와 롱테일 시나리오를 생성하고, 수동 주석 작업의 어려움과 시간 소모를 줄이며, 경우에 따라서는 인간 데이터보다 더 까다로운 분포를 가진 학습 샘플을 생성할 수 있습니다.

대규모 언어 모델(LLM)의 등장과 함께, 제로샷 또는 퓨샷 프롬프트를 사용하여 합성 데이터를 생성하는 방법으로 "셀프 인스트루멘테이션(Self-Instruction)"이 제안되었습니다. 이를 기반으로 "그라운디드 셀프 인스트루멘테이션(Grounded Self-Instruction)"은 문서와 같은 외부 소스를 제약 조건으로 통합하여 착각을 줄이고 다양성을 향상시킵니다. 또한, "CoT 셀프 인스트루멘테이션(CoT Self-Instruction)"은 생성 과정에서 연쇄적 추론을 도입하여 더욱 복잡하고 정확한 작업을 구성합니다. 마지막으로, "셀프 챌린징(Self-Challenging)" 방식은 도전자 에이전트가 작업 및 평가 함수를 제안하기 전에 도구와 상호 작용할 수 있도록 합니다. 그러나 이러한 방법들은 모두 데이터의 난이도와 품질을 직접적으로 제어할 수 없기 때문에 필터링, 진화, 정제와 같은 개선 전략이 필요합니다.

이러한 맥락에서,Meta의 기초 인공지능 연구팀(FAIR at Meta)은 Autodata라는 일반적인 방법을 제안했습니다.위에서 설명한 모든 방법들이 통합되고 일반화되었습니다. 이 프레임워크에서 지능형 에이전트는 "데이터 과학자" 역할을 하며, 인간 데이터 과학자의 작업 흐름을 모방하여 고품질 데이터를 생성하고 구성하는 책임을 맡습니다. 이 과정에는 초기 데이터 생성뿐만 아니라 데이터 분석 단계(인간의 검토와 유사), 성능 평가, 경험 요약, 그리고 이러한 평가를 기반으로 더 나은 데이터 솔루션을 반복적으로 생성하는 단계까지 포함됩니다.

연구진은 컴퓨터 과학 연구 과제, 법률 추론 과제, 수학적 객체 추론 과제에 대한 실험을 수행하여 기존의 합성 데이터 구축 방식보다 우수한 결과를 얻었습니다. 나아가 데이터 과학자 에이전트 자체의 메타 최적화를 통해 더욱显著한 성능 향상을 달성했습니다.

"Autodata: 고품질 합성 데이터를 생성하는 에이전트형 데이터 과학자"라는 제목의 관련 연구 결과는 arXiv에 사전 공개 논문으로 게시되었습니다.

연구 하이라이트:

* 에이전트 기반 데이터 생성 방식은 추론 컴퓨팅 자원을 더 높은 품질의 모델 학습 데이터로 변환하는 경로를 제공합니다.

* 데이터 과학자 에이전트 자체도 메타 최적화가 가능하므로 사람의 개입이나 엔지니어링 작업 없이도 성능이 크게 향상됩니다.

* 본 연구는 향후 인공지능 개발의 최전선을 이끌어갈 과제 및 벤치마크 구축 방식을 변화시킬 잠재력을 지니고 있습니다.

서류 주소:
https://hyper.ai/papers/2606.25996

데이터셋: 세 가지 핵심 작업 시나리오를 포함합니다.

Autodata 프레임워크는 실험에서 컴퓨터 과학 연구 문제, 법률 추론 문제, 수학적 객체 기반 과학 추론 문제라는 세 가지 핵심 작업 시나리오를 다루었습니다.이러한 과제들은 서로 다른 인지 구조 하에서 프레임워크의 일반화 능력을 테스트하기 위해 다양한 데이터 소스 시스템을 기반으로 구축되었습니다.

컴퓨터 과학 관련 업무에서,연구진은 S2ORC 코퍼스(2022년 이후)에서 10,000편 이상의 컴퓨터 과학 논문을 분석했습니다.Agentic Self-Instruct를 사용하여 2,800개의 승인된 샘플이 생성되었습니다.반복 과정이 끝나면, 논문 관련 정보 유출, 불충분한 맥락, 잘못된 채점 기준 형식 등의 문제가 있는 샘플을 제거하기 위해 Kimi-K2.6 기반 품질 검증 도구를 사용하여 샘플을 추가로 필터링합니다. 최종적으로, 1,300개의 고품질 샘플이 강화 학습(RL) 훈련을 위한 에이전트형 자기 지시 데이터셋으로 사용됩니다.

법적 추론 과제에서,해당 데이터는 법원 판결 및 법률 의견을 포함한 Pile of Law와 같은 공개적으로 이용 가능한 법률 문서에서 가져온 것이며, PRBench-Legal 및 그 난이도 하위 집합인 PRBench-Legal-Hard에서 평가되었습니다. 과학 논문과는 달리,법률 텍스트는 구조적 논리적 제약과 판례 의존성이 강하기 때문에, 생성 작업에서는 사실을 추출하고 규칙을 적용하는 능력이 더욱 중요해집니다.

과학적 추론 과제에서본 연구는 Principia 데이터셋을 기반으로 합니다. Principia 데이터셋은 CoT Self-Instruct 방식을 사용하여 구축되었으며, MSC2020 및 PHYS 분류 체계의 광범위한 교육 과정 내용을 포괄합니다. Principia 벤치마크는 기존의 수학 및 물리 벤치마크 문제 중 사람이 직접 주석을 단 문제들로 구성되어 있습니다. 이러한 문제들은 답변에 수학적 객체가 포함되도록 선별 과정을 거쳤습니다.

모든 작업에서 Autodata의 목표는 단순히 질문과 답변 쌍을 생성하는 것이 아니라, 약한 모델과 강한 모델을 효과적으로 구분할 수 있는 학습 데이터를 생성하는 것입니다.

오토데이터: 자율 지능형 에이전트를 활용하여 데이터 과학자의 역할을 시뮬레이션합니다.

아래 그림은 Autodata의 최상위 설계도를 보여줍니다.이 프레임워크는 자율적인 지능형 에이전트를 사용하여 데이터 과학자의 역할을 시뮬레이션합니다.데이터를 반복적으로 생성하고, 질적 검사와 양적 성능 평가를 수행하며, 얻은 통찰력을 종합적으로 분석하고, 그에 따라 데이터 생성 방법을 업데이트함으로써, 이 템플릿을 기반으로 다양한 구현 형태를 구축할 수 있습니다.

전체 루프는 다음과 같은 구성 요소로 이루어져 있습니다.

① 데이터 생성
Autodata 에이전트는 제공된 데이터(예: 수학, 법률, 프로그래밍 등의 특정 분야 문서 또는 기타 작업별 데이터 소스)를 기반으로 데이터 생성을 지원합니다. 이 에이전트는 도구 또는 기존 기술과 경험을 활용하고 추론 단계에서 확보한 컴퓨팅 리소스를 활용하여 모델 학습 또는 평가를 위한 학습 및 벤치마크 데이터를 생성할 수 있습니다. 이러한 데이터 생성 단계는 후속 분석 및 학습 후 반복될 수 있으며, 데이터 품질을 지속적으로 개선하고 향상시킵니다.

② 데이터 분석
에이전트가 생성한 데이터를 획득한 후, 시스템은 이 데이터를 분석하여 에이전트가 "잘한 점"과 "잘못한 점"을 요약하고 개선 방안을 제시합니다. 이러한 분석은 다양한 수준에서 이루어질 수 있습니다. 예를 들어, 단일 샘플 수준(예: 예제가 정확한지, 품질이 높은지, 충분히 어려운지 판단) 또는 전체 데이터셋 수준(예: 샘플이 다양한지, 학습 데이터로서 모델 성능 향상에 기여할 수 있는지)에서 분석이 수행될 수 있습니다. 이러한 분석 결과는 데이터 생성 단계로 다시 피드백되어 다음 반복에서 더 나은 데이터를 생성하며, 이러한 과정은 종료 조건이 충족될 때까지 계속됩니다.

③ 데이터 과학자 전체 순환 과정
에이전트는 데이터 품질에 만족할 때까지 "데이터 생성 및 데이터 분석" 과정을 지속적으로 반복하여 궁극적으로 고품질의 훈련 데이터셋 또는 벤치마크를 생성합니다. 시스템 해킹을 방지하기 위해 외부 루프에 특정 안전 장치 또는 제약 조건을 추가할 수 있습니다. 이러한 에이전트 기반 루프를 통해 모델은 프로세스 전반에 걸쳐 학습 결과를 지속적으로 축적하고 활용할 수 있습니다.

④ 데이터 과학자의 메타 최적화
에이전트 자체도 데이터 과학자 역할을 더욱 잘 수행할 수 있도록 최적화할 수 있습니다. 한 가지 접근 방식은 자동 연구(autoresearch)나 메타 하네스(meta-harness)와 유사한 방법을 사용하여 에이전트 프레임워크를 최적화하고, 동일한 내부 루프 목표(즉, "더 나은 데이터 생성")를 활용하여 외부 루프 최적화를 유도함으로써 전체 에이전트 시스템을 개선하는 것입니다.

본 논문에서는 구현 과정에서 아래 그림과 같이 에이전트 기반 자체 지시(Agentic Self-Instruct)를 오토데이터(Autodata)의 인스턴스화 방법으로 제안합니다.

이 방법에서 메인 오케스트레이터 에이전트는 대규모 언어 모델(LLM)을 기반으로 하는 네 개의 하위 에이전트에 접근할 수 있습니다.

* 챌린저: 메인 에이전트가 제공하는 상세한 프롬프트를 기반으로 학습 샘플을 생성합니다.

* 약한 해결사: 생성된 훈련 데이터를 해결하는 데 일반적으로 어려움을 겪는 모델;

* 강력한 해결사: 생성된 훈련 데이터를 일반적으로 성공적으로 해결할 수 있는 모델;

* 검증자/심사자: 샘플과 모델 솔루션을 제공한 후, 검증자/심사자는 솔루션의 품질을 확인하고 학습 결과를 메인 에이전트에 피드백합니다.

이 시스템의 목표는 실력이 뛰어난 사용자는 문제를 성공적으로 해결할 수 있는 반면, 실력이 부족한 사용자는 어려움을 겪도록 하는 훈련 데이터를 생성하는 것입니다. 마스터 LLM은 검토자의 피드백을 분석하고 그에 따라 도전자에게 전송되는 힌트를 업데이트합니다. 이 과정은 실력이 부족한 사용자를 훈련시키기 위한 고난이도 샘플을 생성하기 위해 지속적으로 반복됩니다.

성과 사례: 기존의 합성 데이터 구축 방식보다 우수한 결과를 달성했습니다.

연구진의 실험은 세 가지 작업 영역을 포괄했으며, 이를 통해 오토데이터 프레임워크의 효과성을 여러 측면에서 검증했습니다.

컴퓨터 과학 과제

컴퓨터 과학 작업에서 에이전트 기반 자체 학습으로 생성된 데이터는 약한 모델과 강한 모델 간의 혼동률을 크게 줄여 학습 신호를 더욱 명확하게 만듭니다.

기본 CoT Self-Instruct 방법을 사용하여 생성된 문제에서 약한 솔버는 평균 0.677점을 기록했습니다. 그러나 동일한 자료(논문)를 사용하여 Agentic Self-Instruct 방법으로 생성된 문제에서는 약한 솔버의 점수가 22%포인트 감소(0.677 → 0.458)한 반면, 강한 솔버의 점수는 8%포인트 증가(0.696 → 0.772)했습니다(아래 표 참조).이는 최종적으로 채택된 질문이 강력한 모델의 심층 추론 능력에 더 큰 동기 부여 효과를 미친다는 것을 나타냅니다.

강화 학습(RL) 훈련에서, 비교적 간단한 CoT Self-Instruct 테스트 세트(아래 표 왼쪽)에서는 CoT 데이터를 사용한 훈련이 기본 4B 모델의 mean@3 값을 0.630에서 0.727로 향상시키고, Agentic 데이터를 사용한 훈련은 이를 0.774까지 더욱 향상시킵니다. 더 어려운 Agentic 테스트 세트(아래 표 오른쪽)에서는 다음과 같은 결과가 나타납니다: 0.366(기본 모델) → 0.500(CoT 훈련) → 0.632(Agentic 훈련). 이 테스트 세트에서 두 방법 간의 차이는 CoT 테스트 세트의 두 배 이상보다 훨씬 크며, best@3 지표에서도 동일한 순위를 보여줍니다.

Agentic으로 학습된 모델은 양방향 전이성을 입증했습니다(+CoT 테스트 세트에서 +0.05, 더 어려운 Agentic 테스트 세트에서 +0.13). 이러한 상당한 이점은 Agentic 파이프라인에서 생성된 더욱 판별력이 높은 학습 데이터가 더 강력한 추론 능력으로 이어질 수 있음을 시사합니다.

법적 추론 과제

법적 추론 과제에서, 기존 CoT(Coordination of Technology)에서 생성된 데이터가 지나치게 어려워 성능이 떨어지는 모델이 효과적인 기울기 신호를 거의 제공하지 못하는 현상(결과적으로 0점 출력이 다수 발생)이 연구 결과 밝혀졌습니다. Autodata는 보다 세분화된 평가 피드백 메커니즘을 도입하여 데이터 난이도를 "학습 가능한 범위"로 되돌려 놓음으로써 GRPO 학습의 안정성과 효율성을 크게 향상시킵니다.

연구진은 GRPO를 사용하여 두 가지 데이터 소스(2,800개의 법률 문제-평가 기준표 쌍(Agent Self-Instruct 및 CoT Self-Instruct))로 Qwen3.5-4B를 학습시켰습니다. 학습 과정에서 20단계마다 두 가지 평가 세트(100개의 문제로 구성된 CoT 홀드아웃 세트와 PRBench Legal/Legal-Hard 분할 세트)를 사용하여 데이터셋을 테스트했습니다. 모든 보상과 점수는 Kimi-K2.6을 사용하여 평가했습니다. 아래 그림의 학습 곡선은 각 평가 시점에서...에이전트 기반 방식은 학습 보상, CoT 검증 세트 및 PRBench-Legal에서 지속적으로 우수한 결과를 보여줍니다.

과학적 추론 과제

과학적 추론 과제에서도 에이전트형 자기 학습(Agentic Self-Instruct)은 일관된 우위를 보여줍니다. 아래 표에 제시된 통합 검증 데이터 세트에서 에이전트형 자기 학습 데이터를 사용한 학습은 전반적으로 가장 큰 향상(+3.20% 평균@8)을 달성했으며, CoT 자기 학습 데이터를 직접 사용한 경우(+2.42%)와 통합 데이터를 사용한 경우(+2.70%)를 능가했습니다.

핵심적인 발견은 최적화되지 않은 CoT 검증 하위 집합에서도 Agentic Self-Instruct가 여전히 더 높은 성능 향상(+3.05% 대 CoT의 +1.86%)을 제공한다는 것입니다. 이는 다음과 같은 점을 시사합니다...더 어려운 작업에 대한 훈련은 더 간단한 작업으로 전이될 수 있습니다. 에이전트 프로세스를 통해 생성된 고난이도 샘플을 반복적으로 학습함으로써 특정 난이도 분포에 국한되지 않고 일반화 가능한 추론 능력을 습득할 수 있습니다.

(아래 표에 나와 있는) 배포되지 않은 Principia 벤치마크에서도 Agentic Self-Instruct는 최고의 평균 향상(+1.04% avg@8)을 달성했으며, 특히 RealMath(+1.75%)와 SuperGPQA(+0.82%)를 포함한 여러 범주에서 지속적으로 선두를 유지했습니다. 이러한 전이 효과는 Agentic Self-Instruct가 생성하는 더 어려운 문제가 강력한 추론 능력을 향상시킬 수 있음을 다시 한번 입증합니다.

결론

요약하자면, 오토데이터는 지능형 에이전트에 의해 구동되는 데이터 과학 루프로 데이터 생성 프로세스를 모델링하는 새로운 데이터 생성 패러다임을 제안합니다. 이 프레임워크 내에서 데이터 생성, 평가, 오류 분석 및 정책 최적화는 단일 폐쇄 루프 시스템 내에서 통합됩니다. 추가적인 메타 최적화 실험을 통해 데이터 과학 에이전트 자체도 최적화될 수 있으며, 따라서 인간의 개입 없이 데이터 품질을 향상시킬 수 있음을 입증했습니다.

전반적으로, 본 연구의 핵심적인 기여는 추론 단계에서 사용되는 계산 자원을 고품질 훈련 데이터 생성 능력으로 전환하는 메커니즘을 제공하는 데 있습니다. 향후 이 연구 방향은 대규모 작업 적응, 더욱 복잡한 다중 턴 에이전트 협업, 데이터셋 수준에서의 전역 최적화 등 확장될 여지가 충분합니다. 또한, 에이전트와 협력적 최적화 메커니즘을 구축하기 위해 인간의 피드백을 다시 도입하는 것 역시 향후 중요한 개발 방향으로 여겨집니다.