Un cadre de décomposition sémantique multi-tâches avec pré-entraînement spécifique à la tâche pour la reconnaissance de noms propres en peu d'exemples

L'objectif de la reconnaissance de noms propres en peu d'exemples (few-shot NER) consiste à identifier les entités nommées à partir d'un nombre limité d'exemples étiquetés. Les travaux antérieurs se sont principalement concentrés sur l'optimisation du cadre traditionnel de classification par jeton, tout en négligeant l'exploration des informations fondées sur les caractéristiques propres aux données de NER. Pour remédier à ce manque, nous proposons un cadre de décomposition sémantique multi-tâches basé sur un pré-entraînement conjoint spécifique à chaque tâche (MSDP) pour la NER en peu d'exemples. Inspirés par l'apprentissage par démonstration et l'apprentissage contrastif, nous introduisons deux nouvelles tâches de pré-entraînement : le modèle de langage masqué basé sur des démonstrations (Demonstration-based Masked Language Modeling, MLM) et la discrimination contrastive par classe. Ces tâches permettent efficacement d'intégrer des informations sur les bornes des entités et d'améliorer la représentation des entités dans les modèles pré-entraînés (PLMs). Dans la tâche principale en aval, nous proposons un cadre d'optimisation conjointe multi-tâches combinant une méthode de décomposition sémantique, permettant au modèle d'intégrer deux types d'informations sémantiques distinctes pour la classification des entités. Les résultats expérimentaux sur deux benchmarks de NER en peu d'exemples montrent que MSDP surpasse de manière significative les modèles de référence forts. Des analyses approfondies confirment l'efficacité et la généralisation du cadre MSDP.