SeqVAT : Entraînement adversaire virtuel pour l'étiquetage de séquences semi-supervisé

L'entraînement adversaire virtuel (VAT) est une technique puissante pour améliorer la robustesse des modèles, tant dans les cadres supervisés que semi-supervisés. Elle est efficace et peut être facilement appliquée à de nombreuses tâches de classification d'images et de texte. Toutefois, ses avantages pour les tâches d'étiquetage de séquences, telles que la reconnaissance d'entités nommées (NER), n'ont pas été aussi marqués, principalement parce que les approches antérieures ne permettaient pas de combiner le VAT avec le champ aléatoire conditionnel (CRF). Le CRF améliore significativement la précision des modèles de séquence en imposant des contraintes sur les transitions entre étiquettes, ce qui en fait un composant essentiel dans la plupart des architectures de modèles d'étiquetage de séquence les plus avancées. Dans cet article, nous proposons SeqVAT, une méthode qui applique naturellement le VAT aux modèles d'étiquetage de séquences intégrant un CRF. Des études empiriques montrent que SeqVAT améliore non seulement de manière significative les performances d'étiquetage de séquences par rapport aux méthodes de référence dans un cadre supervisé, mais excelle également sur les approches les plus récentes dans un cadre semi-supervisé.