Apprentissage actif en tout temps

Un goulot d'étranglement courant dans le déploiement de systèmes d'apprentissage supervisé réside dans la collecte d'exemples annotés par des humains. Dans de nombreux domaines, les annotateurs forment progressivement leur opinion concernant l'étiquette d'un exemple — par exemple, chaque mot supplémentaire lu dans un document ou chaque minute supplémentaire passée à examiner une vidéo contribue à l'annotation. Dans cet article, nous étudions la possibilité de former des systèmes d'apprentissage de manière plus efficace en sollicitant une annotation avant que l'inspection ne soit entièrement terminée — par exemple, après la lecture de seulement 25 mots d'un document. Bien que cette approche puisse réduire le temps total d'annotation, elle comporte également le risque que l'annotateur ne puisse pas fournir une étiquette si l'interruption survient trop tôt. Nous proposons une méthode d'apprentissage actif « à tout moment » (anytime active learning) qui optimise simultanément le temps d'annotation et le taux de réponse. Nous menons des études utilisateurs sur deux jeux de données de classification de documents et développons des annotateurs simulés qui reproduisent le comportement des utilisateurs. Nos expériences simulées montrent que l'apprentissage actif à tout moment surpasse plusieurs méthodes de référence sur ces deux jeux de données. Par exemple, avec un budget d'annotation d'une heure, former un classificateur en annotant uniquement les premiers 25 mots de chaque document réduit l'erreur de classification de 17 % par rapport à l'annotation des premiers 100 mots de chaque document.