Diversité aide : Apprentissage non supervisé en few-shot via l'augmentation de données basée sur le décalage de distribution

L'apprentissage à faibles échantillons (few-shot learning) vise à apprendre un nouveau concept lorsque très peu d'exemples d'entraînement sont disponibles, ce qui a été largement exploré ces dernières années. Cependant, la plupart des travaux actuels reposent fortement sur un ensemble auxiliaire étiqueté de grande échelle pour entraîner leurs modèles selon un paradigme d'entraînement épisodique. Ce type de cadre supervisé limite fondamentalement l'utilisation généralisée des algorithmes d'apprentissage à faibles échantillons. À la place, dans cet article, nous développons un nouveau cadre appelé Apprentissage non supervisé à faibles échantillons par augmentation de données basée sur le décalage de distribution (Unsupervised Few-shot Learning via Distribution Shift-based Data Augmentation, ULDA), qui accorde une attention particulière à la diversité de distribution au sein de chaque tâche prétexte construite lors de l'utilisation de l'augmentation de données. De manière importante, nous soulignons la valeur et l'importance de cette diversité de distribution dans les tâches prétexte basées sur l'augmentation, car elle peut atténuer efficacement le problème de surapprentissage et permettre au modèle d'apprentissage à faibles échantillons d'apprendre des représentations de caractéristiques plus robustes. Dans ULDA, nous examinons systématiquement les effets de différentes techniques d'augmentation et proposons d'accroître la diversité (ou différence) de distribution entre l'ensemble des requêtes et l'ensemble des supports dans chaque tâche à faibles échantillons, en augmentant ces deux ensembles différemment (c'est-à-dire en effectuant un décalage de distribution). De cette façon, même lorsqu'il est associé à des techniques d'augmentation simples (par exemple, recadrage aléatoire, modification aléatoire des couleurs ou rotation), notre ULDA peut produire une amélioration significative. Dans les expériences, les modèles d'apprentissage à faibles échantillons appris par ULDA atteignent une performance généralisée supérieure et obtiennent des résultats parmi les meilleurs dans une variété de tâches d'apprentissage à faibles échantillons bien établies sur Omniglot et miniImageNet. Le code source est disponible sur https://github.com/WonderSeven/ULDA.