Modèles neuronaux efficaces et interprétables pour le suivi d'entités

Qu’est-ce qu’il faudrait pour qu’un modèle de langage naturel comprenne un roman, tel que Le Seigneur des anneaux ? Parmi d’autres exigences, un tel modèle devrait être capable de : (a) identifier et enregistrer de nouveaux personnages (entités) ainsi que leurs attributs au fur et à mesure de leur introduction dans le texte, et (b) reconnaître les références ultérieures à ces personnages déjà introduits, tout en mettant à jour leurs attributs. Ce problème de suivi d’entités est fondamental pour la compréhension du langage, et s’avère donc utile pour une large gamme d’applications NLP en aval, telles que la réponse aux questions ou la synthèse de texte.Dans cette thèse, nous nous concentrons sur deux problèmes clés visant à faciliter l’utilisation des modèles de suivi d’entités : (i) l’extension des modèles de suivi d’entités à des documents longs, tels que des romans, et (ii) l’intégration du suivi d’entités dans les modèles de langage. L’application des technologies du langage aux documents longs suscite un intérêt croissant, mais les contraintes computationnelles constituent un obstacle majeur à l’échelle des méthodes actuelles. Dans cette thèse, nous soutenons qu’il est possible de concevoir des modèles de suivi d’entités efficaces sur le plan computationnel en représentant les entités par des vecteurs à dimension fixe et riches, extraits à partir de modèles de langage préentraînés, tout en exploitant la nature éphémère des entités. Nous défendons également l’intégration du suivi d’entités dans les modèles de langage, car cela permettrait : (i) une application plus large, compte tenu de l’usage omniprésent des modèles de langage préentraînés dans les applications NLP actuelles, et (ii) une adoption plus aisée, puisqu’il est nettement plus simple de remplacer un modèle de langage préentraîné par un autre que d’intégrer un modèle autonome de suivi d’entités.