HyperAIHyperAI

Command Palette

Search for a command to run...

Apprentissage à partir d'étiquettes bruitées pour l'extraction d'information centrée sur les entités

Wenxuan Zhou Muhao Chen

Résumé

Les approches récentes d'extraction d'information s'appuient sur l'entraînement de modèles neuronaux profonds. Toutefois, de tels modèles sont susceptibles de surajuster des étiquettes bruitées et de subir une dégradation de performance. Bien que le filtrage des étiquettes bruitées dans de grandes ressources d'apprentissage soit très coûteux, des études récentes montrent que ces étiquettes nécessitent plus d'étapes d'entraînement pour être mémorisées et sont plus fréquemment oubliées que les étiquettes propres, ce qui les rend identifiables durant l'entraînement. Motivés par ces propriétés, nous proposons un cadre simple de co-régularisation pour l'extraction d'information centrée sur les entités, composé de plusieurs modèles neuronaux ayant la même structure mais des initialisations de paramètres différentes. Ces modèles sont optimisés conjointement à l'aide de pertes spécifiques à la tâche, tout en étant régularisés pour produire des prédictions similaires grâce à une perte d'accord, ce qui empêche le surajustement aux étiquettes bruitées. Des expériences étendues sur deux benchmarks largement utilisés mais bruyants pour l'extraction d'information, TACRED et CoNLL03, démontrent l'efficacité de notre cadre. Nous mettons notre code à disposition de la communauté afin de faciliter les recherches futures.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp