Apprentissage conjoint de unités pré-entraînées et aléatoires pour l'adaptation de domaine dans l'étiquetage morphosyntaxique

L'ajustement fin des réseaux de neurones est largement utilisé pour transférer des connaissances précieuses des domaines à ressources élevées vers les domaines à ressources limitées. Dans un schéma d'ajustement fin standard, les problèmes source et cible sont formés en utilisant la même architecture. Bien que capables de s'adapter à de nouveaux domaines, les unités pré-entraînées ont du mal à apprendre des modèles spécifiques à la cible qui sont peu communs. Dans cet article, nous proposons d'augmenter le réseau cible avec des unités normalisées, pondérées et initialisées aléatoirement, ce qui permet une meilleure adaptation tout en conservant les connaissances précieuses issues de la source. Nos expériences sur l'étiquetage morpho-syntactique des textes de médias sociaux (domaine des Tweets) montrent que notre méthode atteint des performances de pointe sur 3 jeux de données couramment utilisés.