PT4AL : Utilisation de tâches prétextes auto-supervisées pour l'apprentissage actif

L’étiquetage d’un grand ensemble de données est coûteux. L’apprentissage actif vise à résoudre ce problème en ne demandant l’étiquetage que des données les plus informatives parmi celles non étiquetées. Nous proposons une nouvelle approche d’apprentissage actif qui exploite des tâches prétexte auto-supervisées ainsi qu’un échantillonneur de données original afin de sélectionner des données à la fois difficiles et représentatives. Nous avons découvert que la perte associée à une tâche prétexte auto-supervisée simple, comme la prédiction de rotation, est étroitement corrélée à la perte de la tâche principale. Avant les itérations d’apprentissage actif, le modèle de tâche prétexte est entraîné sur l’ensemble non étiqueté, puis les données non étiquetées sont triées et divisées en lots selon leurs pertes de tâche prétexte. À chaque itération d’apprentissage actif, le modèle principal est utilisé pour échantillonner les données les plus incertaines au sein d’un lot afin de les étiqueter. Nous évaluons notre méthode sur diverses benchmarks de classification et de segmentation d’images, et obtenons des performances remarquables sur CIFAR-10, Caltech-101, ImageNet et Cityscapes. Nous montrons également que notre méthode se comporte bien sur des ensembles de données déséquilibrés, et peut constituer une solution efficace au problème du démarrage à froid, où les performances de l’apprentissage actif sont affectées par l’ensemble initial d’étiquettes tiré aléatoirement.