우리는 17개의 다양한 분야에서 어려운 다단계 정보 탐색 작업을 평가하기 위해 900개의 프롬프트로 구성된 DeepSearchQA를 소개한다. 기존의 단일 답변 검색이나 광범위한 사실성 평가를 목표로 하는 전통적 벤치마크와 달리, DeepSearchQA는 복잡한 검색 계획을 수행하여 포괄적인 답변 목록을 생성하는 에이전트의 능력을 평가할 수 있도록 수작업으로 설계된 도전적인 작업 데이터셋을 특징으로 한다. 이 설계의 전환은 세 가지 핵심적이지만 여전히 충분히 평가되지 않은 능력을 명시적으로 검증한다. 첫째, 다양한 출처에서 분산된 정보를 체계적으로 수집하고 통합하는 능력이며, 둘째, 정밀도를 보장하기 위한 중복 제거 및 실체 해석(entity resolution) 능력이며, 셋째, 개방형 검색 공간 내에서 정지 기준을 추론할 수 있는 능력이다. 각 작업은 인과적 체인 구조를 가지며, 한 단계에서 정보를 발견하는 것은 이전 단계의 성공적인 완료에 의존하므로 장기적인 계획 수립과 맥락 유지 능력을 강조한다. 모든 작업은 오픈 웹에 기반하며, 객관적으로 검증 가능한 정답 집합을 갖추고 있다. 최신 에이전트 아키텍처에 대한 종합적 평가 결과, 상당한 성능 한계가 드러났다. 심지어 최고의 모델들조차 높은 재현율(recall)과 정밀도(precision)를 균형 있게 유지하는 데 어려움을 겪는다. 실패 패턴을 관찰한 결과, 조기 종료(과소 검색)에서부터, 검색 재현율을 인위적으로 높이기 위해 낮은 신뢰도의 답변을 너무 넓게 확산하는 ‘보수적 행동(hedging behaviors)’에 이르기까지 다양한 형태의 실패가 존재함을 확인할 수 있었다. 이러한 결과는 현재 에이전트 설계에 여전히 큰 개선 여지가 있음을 시사하며, DeepSearchQA가 향후 연구가 더 견고하고 심층적인 정보 탐색 능력을 갖춘 방향으로 나아가도록 이끄는 핵심 진단 도구가 될 수 있음을 보여준다.