감독 학습 시스템을 구현하는 데 있어 흔한 한계는 인간의 레이블링 예시를 수집하는 데 소요되는 시간과 노력이다. 많은 분야에서 애너테이터는 예시의 레이블에 대한 판단을 점진적으로 형성한다—예를 들어 문서의 추가적인 단어를 읽거나 비디오를 더 오래 관찰할수록 레이블링에 대한 판단이 명확해진다. 본 논문에서는 문서를 완전히 검토하기 전에, 예를 들어 문서의 처음 25단어만 읽은 후에도 레이블링을 요청함으로써 학습 시스템을 더 효율적으로 훈련시킬 수 있는지 조사한다. 이러한 접근은 총 레이블링 시간을 단축할 수 있지만, 너무 일찍 중단될 경우 애너테이터가 레이블을 제공할 수 없는 위험도 수반한다. 이에 우리는 레이블링 시간과 응답률을 동시에 최적화하는 '언제나 활성 학습'(anytime active learning) 방법을 제안한다. 우리는 두 개의 문서 분류 데이터셋에서 사용자 실험을 수행하고, 사용자의 행동을 모방하는 시뮬레이션 애너테이터를 개발하였다. 시뮬레이션 실험 결과, anytime active learning은 여러 기준 모델보다 우수한 성능을 보였다. 예를 들어, 레이블링 예산이 1시간일 때, 각 문서의 처음 25단어만 레이블링하는 방식은 처음 100단어만 레이블링하는 방식보다 분류 오류를 17% 감소시켰다.