Un Transformer à mémoire efficace augmenté pour les tâches NLP intensives en connaissances

L'accès aux connaissances externes est essentiel pour de nombreuses tâches de traitement du langage naturel, telles que la réponse aux questions et les dialogues. Les méthodes existantes reposent souvent sur un modèle paramétrique qui stocke les connaissances dans ses paramètres, ou sur un modèle enrichi par récupération qui dispose d'un accès à une source externe de connaissances. Les modèles paramétriques et les modèles enrichis par récupération présentent des avantages complémentaires en termes d'efficacité computationnelle et de précision prédictive. Pour combiner les forces de ces deux approches, nous proposons le Transformer à mémoire efficace (EMAT) : il encode les connaissances externes dans une mémoire clé-valeur et exploite une recherche rapide par produit scalaire maximal pour interroger cette mémoire. Nous introduisons également des tâches de pré-entraînement qui permettent à EMAT d'encoder des représentations clé-valeur informatives, ainsi d'apprendre une stratégie implicite pour intégrer plusieurs emplacements mémoire dans le transformer. Des expériences menées sur diverses tâches exigeant des connaissances, telles que des jeux de données de réponse aux questions et de dialogues, montrent que l'ajout simple de notre méthode à un modèle paramétrique (T5-base) permet d'obtenir des résultats plus précis (par exemple, une augmentation de 25,8 à 44,3 EM sur NQ), tout en conservant un débit élevé (par exemple, 1 000 requêtes/seconde sur NQ). Par rapport aux modèles enrichis par récupération, EMAT s'avère nettement plus rapide dans l'ensemble et produit des résultats plus précis sur WoW et ELI5. Notre code et les jeux de données sont disponibles à l'adresse suivante : https://github.com/uclnlp/EMAT.