Clustering de sémantiques cibles via des représentations textuelles pour une adaptation de domaine universelle robuste

L’adaptation de domaine universelle (UniDA) vise à transférer les connaissances d’un domaine source vers un domaine cible en présence à la fois d’un décalage de domaine et d’un décalage de catégories inconnues. Son défi principal réside dans l’identification des échantillons communs aux classes et dans leur alignement. Les méthodes actuelles obtiennent généralement les centres sémantiques du domaine cible à partir d’un espace de représentation d’images continu et non contraint. En raison du décalage de domaine et du nombre inconnu de clusters, ces centres conduisent souvent à des algorithmes d’alignement complexes et peu robustes. Dans ce travail, partant de modèles vision-langage, nous cherchons les centres sémantiques dans un espace de représentation textuelle discret et sémantiquement significatif. L’espace contraint garantit pratiquement l’absence de biais de domaine et une granularité sémantique appropriée pour ces centres, permettant ainsi un algorithme d’adaptation simple et robuste. Plus précisément, nous proposons TArget Semantics Clustering (TASC) basé sur les représentations textuelles, une méthode qui utilise la maximisation de l’information comme objectif unifié et s’appuie sur deux étapes. Premièrement, à l’aide d’encodeurs gelés, un cadre fondé sur une recherche gloutonne permet de rechercher un ensemble optimal d’embeddings textuels représentant les sémantiques du domaine cible. Deuxièmement, une fois les résultats de la recherche fixés, les encodeurs sont affinés par descente de gradient, permettant simultanément un alignement de domaine robuste et un regroupement des classes privées. Par ailleurs, nous introduisons UniMS (Universal Maximum Similarity), une fonction de score spécifiquement conçue pour détecter les échantillons en mode ouvert dans le cadre de l’UniDA. Expérimentalement, nous évaluons la généralisation des algorithmes d’UniDA dans quatre scénarios de décalage de catégories. Des expérimentations étendues sur quatre benchmarks démontrent l’efficacité et la robustesse de notre méthode, qui atteint des performances de pointe (state-of-the-art).