Raisonnement différentiable sur de grands bases de connaissances et sur le langage naturel

Le raisonnement à partir de connaissances exprimées en langage naturel et de bases de connaissances (KBs) constitue un défi majeur pour l’intelligence artificielle, avec des applications dans la lecture automatique de textes, les dialogues et la réponse aux questions. Les architectures neurales générales qui apprennent simultanément des représentations et des transformations de texte sont très peu efficaces en termes de données, et il est difficile d’analyser leur processus de raisonnement. Ces limitations sont atténuées par les systèmes de raisonnement différentiables en boucle fermée, tels que les Proveurs Neuronaux de Théorèmes (NTPs), bien que ceux-ci ne puissent être utilisés qu’avec des KBs symboliques de petite taille. Dans cet article, nous proposons d’abord les NTPs Gourmands (GNTPs), une extension des NTPs visant à surmonter leurs limites en complexité et en évolutivité, rendant ainsi ces modèles applicables à des jeux de données du monde réel. Ce résultat est obtenu en construisant dynamiquement le graphe de calcul des NTPs et en ne conservant durant l’inférence que les chemins de preuve les plus prometteurs, ce qui permet d’obtenir des modèles d’un ordre de grandeur plus efficaces. Ensuite, nous proposons une nouvelle approche pour raisonner conjointement sur les KBs et les mentions textuelles, en intégrant les faits logiques et les phrases en langage naturel dans un espace d’embeddings partagé. Nous montrons que les GNTPs atteignent des performances comparables aux NTPs à un coût bien inférieur, tout en obtenant des résultats compétitifs en prédiction de liens sur de grands jeux de données, en fournissant des explications aux prédictions et en induisant des modèles interprétables. Le code source, les jeux de données et les compléments sont disponibles en ligne à l’adresse suivante : https://github.com/uclnlp/gntp.