HyperAIHyperAI
il y a 17 jours

Régularisation graphique indépendante du modèle pour l'apprentissage peu supervisé

Ethan Shen, Maria Brbic, Nicholas Monath, Jiaqi Zhai, Manzil Zaheer, Jure Leskovec
Régularisation graphique indépendante du modèle pour l'apprentissage peu supervisé
Résumé

Dans de nombreux domaines, les relations entre catégories sont encodées dans les graphes de connaissance. Récemment, des résultats prometteurs ont été obtenus en intégrant le graphe de connaissance comme information complémentaire dans des tâches de classification rigoureuses avec des données extrêmement limitées. Toutefois, les modèles précédents reposent sur des architectures très complexes comprenant de nombreux sous-composants, chacun semblant influencer significativement les performances. Dans cet article, nous présentons une étude empirique exhaustive sur l’apprentissage peu-fait (few-shot learning) intégrant des graphes. Nous introduisons une méthode de régularisation par graphe qui permet une compréhension plus approfondie de l’impact de l’intégration des informations de graphe entre les étiquettes. La régularisation proposée est largement applicable et indépendante du modèle, et améliore les performances de tout modèle d’apprentissage peu-fait, qu’il s’agisse de fine-tuning, de méthodes basées sur les métriques ou d’apprentissage métas par optimisation. Notre approche améliore les performances des modèles de base robustes de jusqu’à 2 % sur Mini-ImageNet et de 6,7 % sur ImageNet-FS, surpassant ainsi les méthodes de pointe intégrant des graphes. Des analyses supplémentaires révèlent que les modèles régularisés par graphe atteignent une perte plus faible sur des tâches plus difficiles, telles que celles avec un nombre réduit d’exemples d’appui ou des exemples d’appui moins informatifs.