Ein häufiger Engpass bei der Bereitstellung von überwachten Lernsystemen ist die Sammlung menschlicher Annotationsbeispiele. In vielen Domänen bilden die Annotatoren ihre Meinung bezüglich der Etikettierung eines Beispiels schrittweise – beispielsweise hilft jedes zusätzliche gelesene Wort aus einem Dokument oder jede zusätzliche Minute, die in der Inspektion eines Videos verbracht wird, bei der Entscheidungsfindung. In diesem Artikel untersuchen wir, ob Lernsysteme effizienter trainiert werden können, indem wir bereits vor Abschluss der Inspektion eine Annotation anfordern – beispielsweise nach dem Lesen nur der ersten 25 Wörter eines Dokuments. Obwohl dies die Gesamtzeit für die Annotation verringern kann, birgt es auch das Risiko, dass der Annotator das Etikett nicht mehr angeben kann, falls er zu früh unterbrochen wird. Wir schlagen einen any-time-aktiven Lernansatz vor, der die Annotationzeit und die Antwortrate gleichzeitig optimiert. Wir führen Benutzerstudien an zwei Datensätzen für Dokumentenklassifikation durch und entwickeln simulierte Annotatoren, die das Verhalten der Benutzer nachahmen. Unsere simulierten Experimente zeigen, dass der any-time-aktive Lernansatz mehrere Baseline-Methoden auf diesen beiden Datensätzen übertrifft. Zum Beispiel reduziert das Training eines Klassifikators durch Annotierung der ersten 25 Wörter jedes Dokuments gegenüber der Annotierung der ersten 100 Wörter bei einem Annotationbudget von einer Stunde die Klassifizierungsfehlerquote um 17 %.