Concaténation Automatisée d'Embeddings pour la Prédiction Structurée

Les plongements contextuels pré-entraînés sont des représentations de mots puissantes pour les tâches de prédiction structurée. Des travaux récents ont montré que de meilleures représentations de mots peuvent être obtenues en concaténant différents types de plongements. Cependant, la sélection des plongements pour former la meilleure représentation concaténée varie généralement en fonction de la tâche et de la collection de plongements candidats, et l'augmentation constante du nombre de types de plongements rend ce problème plus difficile. Dans cet article, nous proposons l'Automatisation de la Concaténation des Plongements (ACE) pour automatiser le processus de recherche de meilleures concaténations de plongements pour les tâches de prédiction structurée, basé sur une formulation inspirée des progrès récents dans la recherche d'architecture neuronale. Plus précisément, un contrôleur échantillonne alternativement une concaténation de plongements, selon sa croyance actuelle quant à l'efficacité des types individuels de plongements considérés pour une tâche, et met à jour cette croyance en fonction d'une récompense. Nous suivons des stratégies d'apprentissage par renforcement pour optimiser les paramètres du contrôleur et calculer la récompense en fonction de la précision d'un modèle de tâche, qui est alimenté par la concaténation échantillonnée comme entrée et entraîné sur un ensemble de données de tâche. Les résultats empiriques sur 6 tâches et 21 ensembles de données montrent que notre approche surpasses les lignes directrices solides et atteint des performances au niveau de l'état de l'art avec des plongements affinés dans toutes les évaluations.