Unification de l'adaptation de domaine non supervisée et de la reconnaissance visuelle à zéro-shot

L'adaptation non supervisée de domaine vise à transférer les connaissances d'un domaine source vers un domaine cible afin que les données du domaine cible puissent être reconnues sans aucune information d'étiquetage explicite pour ce domaine. Une limitation de cette configuration de problème est que des données de test, bien qu'elles n'aient pas d'étiquettes, provenant du domaine cible sont nécessaires pendant l'entraînement, ce qui empêche le modèle entraîné d'être directement appliqué pour classifier des instances de test inconnues. Nous formulons un nouveau problème de classification inter-domaines issu de scénarios réels où des données étiquetées sont disponibles pour un sous-ensemble de classes (classes connues) dans le domaine cible, et nous souhaitons reconnaître de nouveaux échantillons appartenant à toute classe (classes connues et inconnues) une fois le modèle appris. Il s'agit d'un problème généralisé d'apprentissage par zéro tiré, où les informations annexes proviennent du domaine source sous forme d'échantillons étiquetés plutôt que sous forme de représentations sémantiques au niveau des classes couramment utilisées dans l'apprentissage par zéro traditionnel. Nous présentons un cadre d'adaptation de domaine unifié pour les conditions d'apprentissage non supervisé et par zero shot. Notre approche apprend un sous-espace conjoint à partir des domaines source et cible afin que les projections des deux ensembles de données dans ce sous-espace soient invariantes aux domaines et facilement séparables. Nous utilisons la projection préservant la localité supervisée (SLPP) comme technique permettant et menons des expériences dans les conditions d'apprentissage non supervisé et par zéro shot, obtenant des résultats à l'état de l'art sur trois jeux de données de référence en adaptation de domaine : Office-Caltech, Office31 et Office-Home.