Améliorer la robustesse de l’étiquetage de séquences par une formation adversaire masquée

L’entraînement adversaire (AT) a démontré des effets régularisants importants sur les algorithmes d’apprentissage profond en introduisant de petites perturbations sur les entrées afin d’améliorer la robustesse du modèle. Dans les tâches de traitement du langage, l’entraînement adversaire confère une robustesse au niveau des mots en ajoutant du bruit d’entrée, ce qui est avantageux pour la classification de texte. Toutefois, il manque une amélioration suffisante de l’information contextuelle, ce qui le rend moins efficace pour les tâches d’étiquetage de séquences telles que le découpage (chunking) ou la reconnaissance d’entités nommées (NER). Pour pallier cette limitation, nous proposons une méthode dite « entraînement adversaire masqué » (MAT), visant à améliorer la robustesse en exploitant davantage l’information contextuelle dans les tâches d’étiquetage de séquences. Dans MAT, certains mots de la phrase sont masqués ou remplacés lors du calcul de la perte adversaire à partir d’entrées perturbées, permettant ainsi d’augmenter la robustesse du modèle grâce à une exploitation accrue des informations contextuelles. Nos expériences montrent que notre méthode permet des améliorations significatives en termes de précision et de robustesse sur les tâches d’étiquetage de séquences. En combinant cette approche avec des embeddings ELMo, notre modèle obtient des résultats supérieurs ou comparables aux états de l’art sur les benchmarks CoNLL 2000 et 2003, tout en utilisant beaucoup moins de paramètres.