심층 연구 시스템은 복잡한 다단계 과제를 해결하기 위해 추론, 오픈 웹 및 사용자 파일 내 검색, 도구 활용을 조율하는 에이전트형 AI로, 현재 계층적 배포 구조(플래너, 코디네이터, 실행자)로 진화하고 있다. 실제로 전체 스택을 종단 간(end-to-end)으로 훈련하는 것은 여전히 현실적이지 않기 때문에, 대부분의 연구는 검색, 브라우징, 코드 실행과 같은 핵심 도구에 연결된 단일 플래너를 훈련하는 방식을 채택하고 있다. 표준 훈련(SFT)은 프로토콜의 정확성(협의체 일관성)을 부여하지만, 모방 편향(imitation bias)과 노출 편향(exposure bias)에 취약하며 환경 피드백을 충분히 활용하지 못한다. DPO와 같은 선호도 정렬(Preference alignment) 방법은 스키마 및 대표적 지표에 의존하며, 비정책적(off-policy)이며 장기적 목표 달성에 대한 책임 할당(long-horizon credit assignment)과 다목적 간의 트레이드오프 처리에 약하다. SFT와 DPO의 또 다른 한계는 스키마 설계와 레이블된 비교를 통해 인간이 정의한 결정 포인트와 하위 기술(subskills)에 의존한다는 점이다. 반면 강화학습(RL)은 도구 상호작용을 포함한 폐루프(閉루프) 연구와 부합하며, 궤적 수준의 정책을 최적화함으로써 탐색, 복구 행동, 체계적인 책임 할당을 가능하게 하며, 인간의 사전 지식과 평가자 편향에 대한 의존도를 줄인다.본 조사 논문은 우리 지식에 따르면, 심층 연구 시스템의 강화학습 기반 이론에 전념한 최초의 논문이다. DeepSeek-R1 이후의 연구를 세 가지 축으로 체계화하였다: (i) 데이터 생성 및 정제, (ii) 에이전트형 연구를 위한 강화학습 방법론(안정성, 샘플 효율성, 장문 맥락 처리, 보상 및 책임 할당 설계, 다목적 최적화, 다모달 통합 포함), (iii) 에이전트형 강화학습 훈련 시스템 및 프레임워크. 또한 에이전트 아키텍처와 조율 방식, 평가 및 벤치마크(최근의 QA, VQA, 장문 생성, 도메인 기반 및 도구 상호작용 과제 포함)도 다루었다. 본 연구는 반복되는 패턴을 정리하고 인프라 구조상의 병목 요인을 드러내며, 강화학습을 활용한 강건하고 투명한 심층 연구 에이전트를 훈련하기 위한 실용적인 지침을 제시한다.