Apprentissage par transfert à $n$ références pour la prédiction de la salience

Grâce aux recherches en apprentissage profond et aux grands ensembles de données, la prédiction de la salience a connu un succès considérable au cours de la dernière décennie. Cependant, il reste toujours difficile de prédire des cartes de salience sur des images dans de nouveaux domaines qui manquent de données suffisantes pour les modèles gourmands en données. Pour résoudre ce problème, nous proposons un paradigme d'apprentissage par transfert à quelques exemples (few-shot) pour la prédiction de la salience, permettant un transfert efficace des connaissances acquises à partir des grands ensembles de données existants sur la salience vers un domaine cible avec peu d'exemples étiquetés. Plus précisément, très peu d'exemples du domaine cible sont utilisés comme référence pour entraîner un modèle avec un ensemble de données du domaine source, afin que le processus d'entraînement puisse converger vers un minimum local favorable au domaine cible. Ensuite, le modèle appris est affiné davantage à l'aide de cette référence. Le cadre proposé est basé sur les gradients et agnostique envers le modèle. Nous menons une série d'expériences exhaustives et une étude d'ablation sur diverses paires de domaines source et cible. Les résultats montrent que le cadre proposé réalise une amélioration significative des performances. Le code est disponible publiquement à l'adresse \url{https://github.com/luoyan407/n-reference}.