HyperAIHyperAI
il y a 17 jours

Apprentissage peu supervisé régularisé par le laplacien

Imtiaz Masud Ziko, Jose Dolz, Eric Granger, Ismail Ben Ayed
Apprentissage peu supervisé régularisé par le laplacien
Résumé

Nous proposons une inférence transductive régularisée par le laplacien pour les tâches en peu d'exemples. Étant donné toute représentation fonctionnelle apprise à partir des classes de base, nous minimisons une fonction quadratique deffectuation binaire composée de deux termes : (1) un terme unaire qui attribue les échantillons de requête au prototype de classe le plus proche, et (2) un terme pair laplacien qui encourage les échantillons de requête voisins à recevoir des attributions de labels cohérentes. Notre inférence transductive ne nécessite pas de réentraînement du modèle de base, et peut être vue comme un regroupement par graphes de l’ensemble de requête, soumis à des contraintes de supervision provenant de l’ensemble de support. Nous dérivons un optimiseur efficace sur le plan computationnel pour une relaxation de notre fonction, qui permet des mises à jour indépendantes (parallèles) pour chaque échantillon de requête tout en garantissant la convergence. Après une simple entraînement par entropie croisée sur les classes de base, et sans recourir à des stratégies complexes d’apprentissage métacognitif, nous avons mené des expériences approfondies sur cinq benchmarks d’apprentissage en peu d’exemples. Notre méthode, LaplacianShot, surpasse de manière significative les méthodes de pointe dans divers modèles, configurations et jeux de données. En outre, notre inférence transductive est très rapide, avec des temps de calcul proches de ceux de l’inférence inductive, et peut être appliquée à des tâches en peu d’exemples à grande échelle.