HyperAIHyperAI

Command Palette

Search for a command to run...

Apprendre à ignorer : la cohérence de référence dans les documents longs avec des réseaux neuronaux à mémoire bornée

Shubham Toshniwal Sam Wiseman Allyson Ettinger Karen Livescu Kevin Gimpel

Résumé

La résolution de coreférance dans les documents longs reste une tâche difficile en raison des importantes exigences mémoire et de temps d’exécution imposées par les modèles actuels. Des travaux récents sur la résolution incrémentale de coreférance, basés uniquement sur la représentation globale des entités, montrent des avantages pratiques, mais nécessitent de conserver toutes les entités en mémoire, ce qui peut s’avérer impraticable pour des documents longs. Nous affirmons qu’il n’est pas nécessaire de garder toutes les entités en mémoire, et proposons un réseau neuronal à mémoire augmentée qui ne suit qu’un petit nombre borné d’entités à la fois, garantissant ainsi un temps d’exécution linéaire par rapport à la longueur du document. Nous démontrons que (a) ce modèle reste compétitif par rapport à des modèles exigeant une mémoire et des ressources computationnelles élevées sur les corpus OntoNotes et LitBank, et (b) le modèle apprend une stratégie efficace de gestion de la mémoire, dépassant aisément une stratégie basée sur des règles.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp