PeTra : un modèle de mémoire à supervision éparses pour le suivi de personnes

Nous proposons PeTra, un réseau de neurones augmenté de mémoire conçu pour suivre les entités dans ses emplacements mémoire. PeTra est entraîné à l’aide d’annotations creuses issues du jeu de données GAP pour la résolution des pronoms, et surpasse un modèle mémoire antérieur sur cette tâche tout en utilisant une architecture plus simple. Nous comparons empiriquement plusieurs choix fondamentaux de modélisation, et constatons que nous pouvons simplifier plusieurs aspects de la conception du module mémoire sans compromettre des performances robustes. Pour évaluer la capacité des modèles mémoire à suivre les personnes, nous (a) proposons une nouvelle évaluation diagnostique basée sur le dénombrement du nombre d’entités uniques présentes dans un texte, et (b) menons une évaluation humaine à petite échelle afin de comparer les preuves de suivi des personnes dans les journaux mémoire de PeTra par rapport à une approche antérieure. PeTra se révèle très efficace dans les deux évaluations, démontrant ainsi sa capacité à suivre les personnes dans sa mémoire, malgré un entraînement avec une annotation limitée.