Objectifs auxiliaires pour les modèles de détection d'erreurs neuronaux

Nous examinons l'utilité de différents objectifs auxiliaires et stratégies d'entraînement au sein d'une approche de labellisation séquentielle neuronale pour la détection d'erreurs dans les écrits des apprenants. Les coûts auxiliaires fournissent au modèle des informations linguistiques supplémentaires, lui permettant d'apprendre des caractéristiques compositionnelles polyvalentes qui peuvent ensuite être exploitées pour d'autres objectifs. Nos expériences montrent qu'une approche d'apprentissage conjoint utilisant des étiquettes parallèles sur des données du domaine cible améliore les performances par rapport au meilleur système de détection d'erreurs précédent. Bien que le modèle résultant ait le même nombre de paramètres, les objectifs supplémentaires lui permettent une optimisation plus efficace et une meilleure performance.