Apprentissage par few-shot avec aide sémantique simple

L'apprentissage à partir d'une quantité limitée de données, connu sous le nom d'Apprentissage par Peu d'Exemples (Few-Shot Learning), se distingue comme une tâche informatique et de vision par ordinateur particulièrement ardue. De nombreuses études explorent les sémantiques et conçoivent des mécanismes complexes de fusion sémantique pour compenser l'insuffisance de caractéristiques représentatives dans des données restreintes. Cependant, la reliance sur des sémantiques naïves, telles que les noms de classes, introduit des biais dus à leur brièveté, tandis que l'acquisition de sémantiques approfondies à partir de connaissances externes nécessite un effort considérable en temps et en ressources. Cette limitation entrave sévèrement le potentiel des sémantiques dans l'Apprentissage par Peu d'Exemples.Dans cet article, nous proposons une méthode automatique appelée Évolution Sémantique pour générer des sémantiques de haute qualité. L'intégration de ces sémantiques de haute qualité réduit la nécessité d'utiliser des structures réseau complexes et des algorithmes d'apprentissage sophistiqués employés dans les travaux précédents. Nous utilisons donc un réseau simple à deux couches, dénommé Réseau d'Alignement Sémantique (Semantic Alignment Network), pour transformer les sémantiques et les caractéristiques visuelles en prototypes de classe robustes dotés de caractéristiques discriminantes riches pour la classification par peu d'exemples.Les résultats expérimentaux montrent que notre cadre dépasse toutes les méthodes antérieures sur six benchmarks, démontrant qu'un réseau simple avec des sémantiques de haute qualité peut surpasser des modules multimodaux complexes dans les tâches de classification par peu d'exemples. Le code est disponible à l'adresse suivante : https://github.com/zhangdoudou123/SemFew.