要約
教師あり学習システムを展開する際の一般的なボトルネックは、人間によるラベル付与（アノテーション）例の収集にある。多くの分野において、アノテーターは例のラベルについて、段階的に判断を形成する——たとえば、文書の追加の単語を読むごと、または動画の追加の1分間を確認するごとに、ラベル付けの判断が進む。本論文では、検査が完全に終了する前にアノテーションを求める——たとえば、文書の最初の25語だけを読んだ段階で——ことで、学習システムの訓練をより効率的に行えるかどうかを検討する。このようなアプローチは全体的なアノテーション時間を短縮する可能性がある一方で、アノテーターが検査を途中で中断された場合にラベルを提供できなくなるリスクも生じる。そこで、本研究では、アノテーション時間と応答率の両方を同時に最適化する「いつでも有効なアクティブラーニング（anytime active learning）」手法を提案する。2つのドキュメント分類データセットを対象にユーザースタディを行い、実際のユーザーアノテーターの行動を模倣するシミュレーテッドアノテーターを構築した。シミュレーション実験の結果、提案手法は複数のベースライン手法を上回ることが示された。たとえば、アノテーション予算が1時間の場合、各ドキュメントの最初の25語をアノテートする方法は、最初の100語をアノテートする方法に比べて、分類誤差を17%低減する効果が確認された。