Apprentissage de stratégies de raisonnement dans la preuve différentiable end-to-end

Les tentatives visant à rendre les modèles d'apprentissage profond interprétables, efficaces en termes de données et robustes ont connu certains succès grâce à leur hybridation avec des systèmes fondés sur des règles, par exemple dans les preuves théorèmes neurales (Neural Theorem Provers, NTPs). Ces modèles neuro-symboliques peuvent induire des règles interprétables et apprendre des représentations à partir de données via la rétropropagation, tout en fournissant des explications logiques pour leurs prédictions. Toutefois, leur utilisation est limitée par leur complexité computationnelle, car ils doivent envisager toutes les trajectoires de preuve possibles pour expliquer un objectif, ce qui les rend inadaptés aux applications à grande échelle. Nous présentons les preuves théorèmes conditionnelles (Conditional Theorem Provers, CTPs), une extension des NTPs qui apprend une stratégie optimale de sélection de règles par optimisation basée sur les gradients. Nous démontrons que les CTPs sont évolutives et obtiennent des résultats de pointe sur le jeu de données CLUTRR, qui évalue la généralisation systématique des modèles neuronaux en apprenant à raisonner sur des graphes plus petits et en évaluant sur des graphes plus grands. Enfin, les CTPs obtiennent de meilleurs résultats en prédiction de liens sur des benchmarks standards par rapport à d'autres modèles neuro-symboliques, tout en restant interprétables. Le code source et les jeux de données sont disponibles en ligne à l’adresse suivante : https://github.com/uclnlp/ctp.