Modèles de recyclage vers le haut sous décalage de domaine et de catégorie

Les réseaux de neurones profonds (DNN) peinent souvent à maintenir de bonnes performances en cas de décalage de domaine ou de décalage de catégorie. La question de la réutilisation (upcycling) des DNN et de leur adaptation à une tâche cible demeure un problème ouvert important. L’adaptation de domaine non supervisée (UDA), et plus particulièrement la récente adaptation de domaine sans source (SFDA), est devenue une technologie prometteuse pour aborder ce défi. Toutefois, les méthodes SFDA existantes supposent que le domaine source et le domaine cible partagent le même espace de labels, limitant ainsi leur application au cadre classique à ensemble fermé (closed-set). Dans cet article, nous allons un pas plus loin en explorant l’adaptation de domaine universelle sans source (SF-UniDA). L’objectif consiste à identifier les échantillons « connus » en présence à la fois de décalage de domaine et de décalage de catégorie, tout en rejetant les échantillons « inconnus » (non présents parmi les classes du domaine source), en ne disposant que des connaissances provenant d’un modèle source pré-entraîné standard. À cette fin, nous introduisons une technique innovante d’apprentissage par regroupement global et local (GLC). Plus précisément, nous proposons un nouvel algorithme adaptatif de regroupement global un contre tous (one-vs-all), permettant de distinguer efficacement les différentes classes cibles, et intégrons une stratégie locale de regroupement basée sur les k plus proches voisins (k-NN) afin de réduire le transfert négatif. Nous évaluons l’efficacité de notre méthode GLC sur plusieurs benchmarks couvrant divers scénarios de décalage de catégorie, notamment l’adaptation partielle, ouverte et ouverte-partielle. De façon remarquable, dans le scénario le plus exigeant, l’adaptation ouverte-partielle, GLC dépasse UMAD de 14,8 % sur le benchmark VisDA. Le code source est disponible à l’adresse suivante : https://github.com/ispc-lab/GLC.