Apprendre à ignorer : la cohérence de référence dans les documents longs avec des réseaux neuronaux à mémoire bornée

La résolution de coreférance dans les documents longs reste une tâche difficile en raison des importantes exigences mémoire et de temps d’exécution imposées par les modèles actuels. Des travaux récents sur la résolution incrémentale de coreférance, basés uniquement sur la représentation globale des entités, montrent des avantages pratiques, mais nécessitent de conserver toutes les entités en mémoire, ce qui peut s’avérer impraticable pour des documents longs. Nous affirmons qu’il n’est pas nécessaire de garder toutes les entités en mémoire, et proposons un réseau neuronal à mémoire augmentée qui ne suit qu’un petit nombre borné d’entités à la fois, garantissant ainsi un temps d’exécution linéaire par rapport à la longueur du document. Nous démontrons que (a) ce modèle reste compétitif par rapport à des modèles exigeant une mémoire et des ressources computationnelles élevées sur les corpus OntoNotes et LitBank, et (b) le modèle apprend une stratégie efficace de gestion de la mémoire, dépassant aisément une stratégie basée sur des règles.