UDALM : Adaptation de domaine non supervisée par apprentissage par modélisation linguistique

Dans ce travail, nous explorons l’adaptation de domaine non supervisée (UDA) des modèles linguistiques préentraînés pour des tâches en aval. Nous proposons UDALM, une procédure d’ajustage fin (fine-tuning) basée sur une perte combinée de classification et de modèle de langage masqué, permettant une adaptation robuste et efficace en termes d’échantillons à la distribution du domaine cible. Nos expériences montrent que la performance des modèles entraînés avec cette perte combinée augmente avec la quantité de données disponibles pour le domaine cible, et que cette perte peut être efficacement utilisée comme critère d’arrêt durant l’entraînement en UDA. En outre, nous examinons la relation entre la distance A et l’erreur sur le domaine cible, tout en explorant certaines limitations de l’approche d’entraînement adversarial par domaine. Notre méthode est évaluée sur douze paires de domaines du jeu de données Amazon Reviews Sentiment, atteignant une précision de 91,74 %, soit une amélioration absolue de 1,11 % par rapport à l’état de l’art.