Logiformer : Un réseau de transformationneur à deux branches pour un raisonnement logique interprétable

La compréhension automatique de texte a suscité un vif intérêt, car elle explore le potentiel des modèles en matière de compréhension textuelle. Afin d’équiper davantage les machines d’une capacité de raisonnement, une tâche exigeante, le raisonnement logique, a été proposée. Les travaux antérieurs sur le raisonnement logique ont introduit diverses stratégies pour extraire des unités logiques à partir de différentes perspectives. Toutefois, il subsiste un défi majeur dans la modélisation des dépendances à longue portée entre ces unités logiques. Par ailleurs, il est difficile d’extraire les structures logiques du texte et de fusionner efficacement les éléments logiques discrets dans l’espace d’embedding continu du texte. Pour relever ces défis, nous proposons un modèle end-to-end, Logiformer, qui utilise un réseau de transformateur graphique à deux branches pour le raisonnement logique sur le texte. Premièrement, nous introduisons des stratégies d’extraction différentes afin de diviser le texte en deux ensembles d’unités logiques, et de construire respectivement un graphe logique et un graphe syntaxique. Le graphe logique modélise les relations causales dans la branche logique, tandis que le graphe syntaxique capture les relations d’occurrence simultanée dans la branche syntaxique. Deuxièmement, afin de modéliser les dépendances à longue portée, la séquence de nœuds issue de chaque graphe est introduite dans des structures de transformateur graphique entièrement connectées. Les deux matrices d’adjacence sont traitées comme des biais d’attention dans les couches de transformateur graphique, permettant ainsi de projeter les structures logiques discrètes dans l’espace d’embedding continu du texte. Troisièmement, un mécanisme de porte dynamique et un module d’attention auto-orientée par la question sont intégrés avant la prédiction de la réponse afin d’actualiser les caractéristiques. Le processus de raisonnement offre une interprétabilité grâce à l’utilisation d’unités logiques cohérentes avec la cognition humaine. Les résultats expérimentaux démontrent l’efficacité de notre modèle, qui surpasser le modèle de pointe sur deux benchmarks de raisonnement logique.