HyperAIHyperAI

Command Palette

Search for a command to run...

Un cadre de décomposition sémantique multi-tâches avec pré-entraînement spécifique à la tâche pour la reconnaissance de noms propres en peu d'exemples

Résumé

L'objectif de la reconnaissance de noms propres en peu d'exemples (few-shot NER) consiste à identifier les entités nommées à partir d'un nombre limité d'exemples étiquetés. Les travaux antérieurs se sont principalement concentrés sur l'optimisation du cadre traditionnel de classification par jeton, tout en négligeant l'exploration des informations fondées sur les caractéristiques propres aux données de NER. Pour remédier à ce manque, nous proposons un cadre de décomposition sémantique multi-tâches basé sur un pré-entraînement conjoint spécifique à chaque tâche (MSDP) pour la NER en peu d'exemples. Inspirés par l'apprentissage par démonstration et l'apprentissage contrastif, nous introduisons deux nouvelles tâches de pré-entraînement : le modèle de langage masqué basé sur des démonstrations (Demonstration-based Masked Language Modeling, MLM) et la discrimination contrastive par classe. Ces tâches permettent efficacement d'intégrer des informations sur les bornes des entités et d'améliorer la représentation des entités dans les modèles pré-entraînés (PLMs). Dans la tâche principale en aval, nous proposons un cadre d'optimisation conjointe multi-tâches combinant une méthode de décomposition sémantique, permettant au modèle d'intégrer deux types d'informations sémantiques distinctes pour la classification des entités. Les résultats expérimentaux sur deux benchmarks de NER en peu d'exemples montrent que MSDP surpasse de manière significative les modèles de référence forts. Des analyses approfondies confirment l'efficacité et la généralisation du cadre MSDP.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp