Réseaux Méta de Déformation d'Images pour l'Apprentissage en une Seule Prise

Les humains peuvent apprendre de manière robuste de nouveaux concepts visuels même lorsque les images subissent diverses déformations et perdent certaines informations. Imiter ce comportement et synthétiser des instances déformées de nouveaux concepts peut aider les systèmes de reconnaissance visuelle à améliorer leur apprentissage par une seule exemple, c'est-à-dire l'apprentissage de concepts à partir d'un ou de quelques exemples. Notre intuition clé est que, bien que les images déformées puissent ne pas être visuellement réalistes, elles conservent encore des informations sémantiques critiques et contribuent de manière significative à la formulation des frontières de décision des classifieurs. Inspirés par les progrès récents en méta-apprentissage, nous combinons un méta-apprenant avec un sous-réseau de déformation d'images qui génère des exemples supplémentaires d'entraînement, et optimisons les deux modèles de manière end-to-end. Le sous-réseau de déformation apprend à déformer les images en fusionnant un couple d'images --- une image sonde qui conserve le contenu visuel et une image galerie qui diversifie les déformations. Nous présentons des résultats sur les benchmarks largement utilisés pour l'apprentissage par une seule exemple (ensembles de données miniImageNet et ImageNet 1K Challenge), qui surpassent considérablement les approches actuelles de pointe. Le code est disponible à l'adresse suivante : https://github.com/tankche1/IDeMe-Net.